Doctoraat in de ingenieurswetenschappen: computerwetenschappen

Herkenning van gebaren en gebarentaal met 'Deep Learning'


Doctorandus Publieke verdediging
Naam: Lionel Pigou   Datum: Vrijdag 24/08/2018 om 17:00 
Adres: ()
, null null
  Lokatie: auditorium P Jozef Plateau, gelijkvloers, Jozef Plateaustraat 22, 9000 Gent
Contact FEA: info.ea@ugent.be   Taal: Nederlands

Curriculum
Master of Science in Computer Science Engineering — Main Subject Information and
Communication Technology, Ghent University, 2014

Promotor
Joni Dambre
Mieke Van Herreweghe

Examencommissie
prof. Filip De Turck
Joni Dambre (EA06)
Mieke Van Herreweghe (LW06)
Steven Verstockt, Universiteit Gent, Faculteit Ingenieurswetenschappen en Architectuur, EA06 - Vakgroep Elektronica en Informatiesystemen, Technologiepark Zwijnaarde 122,Technologiepark Zwijnaarde 126, 9052 Zwijnaarde
E: steven.verstockt@ugent.be
Veronique Hoste
Tinne Tuytelaars
Myriam Vermeerbergen
Michiel Stock

Onderzoeksthema

In dit proefschrift onderzoeken we het gebruik van diepe neurale netwerken voor het herkennen van gebaren en gebarentaal in video’s. Onderzoek om de herkenning van gebarentaal te automatiseren is niet alleen belangrijk voor mensen met een gehoorbeperking, maar ook voor hun collega’s, vrienden en familie die de taal willen leren met een leersoftwareplatform of een digitale woordenboek voor gebarentaal. Verder kost het annoteren van een gebarentaalcorpus (een grote verzameling van video’s met gebarentaal) veel inspanning, tijd en financiering. Onderzoek naar het herkennen van gebaren en gebarentaal zou deze kosten helpen te verlichten door de annotatie te versnellen. We beginnen met het classificeren van een twintig-tal gebaren die relatief eenvoudig van elkaar te onderscheiden zijn. De veelbelovende resultaten leiden ons tot het bestuderen van deze methodes voor het herkennen van gebarentaal in videocorpora en nieuwsuitzendingen van de VRT. We experimenteren eerst met de classificatie van geïsoleerde gebaren (het begin en het einde van elke gebaar is gegeven) voordat de continue herkenning van gebarentaal wordt aangepakt.


Taal proefschrift
Engels

Documenten