Doctoraat in de ingenieurswetenschappen: computerwetenschappen

Neurale herkenning en vertaling van gebarentaal: naar toepassingen voor gebarentaal op basis van artificiële intelligentie


Doctorandus Publieke verdediging
Naam: Mathieu De Coster   Datum: Vrijdag 21/06/2024 om 16:30 
Adres: vakgroep Elektronica en Informatiesystemen (EA06)
Technologiepark Zwijnaarde 126, 9052 Zwijnaarde
  Lokatie: auditorium A - Magnel, gebouw 60 Magnel, eerste verdieping, Technologiepark Zwijnaarde 60, 9052 Zwijnaarde
Contact FEA: info.ea@ugent.be   Taal: Nederlands

Curriculum
Bachelor of Science in Computer Science, Ghent University, 2015
Master of Science in Computer Science Engineering, Ghent University, 2017

Promotor
Joni Dambre
Mieke Van Herreweghe

Examencommissie
prof. Patrick De Baets
Joni Dambre (EA06)
Mieke Van Herreweghe (LW06)
Vincent Vandeghinste
Thomas Demeester
Lieve Macken
Connie de Vos

Onderzoeksthema

Artificiële intelligentie (AI) is sinds enkele jaren alomtegenwoordig. We bedienen toestellen met AI-gestuurde spraakherkenning en vertalen geschreven teksten met AI. Gebarentaalherkenning en -vertaling zijn echter minder geavanceerd. De twee voornaamste redenen hiervoor zijn een gebrek aan data en het feit dat deze uitdagende taken een interdisciplinaire aanpak vragen, met samenwerking tussen taalkundigen en computerwetenschappers. Dit proefschrift gaat aan de slag met gebarentaaldata, in het bijzonder voor de Vlaamse Gebarentaal (VGT). Dit doet het vanuit het perspectief van vier AI-gebaseerde toepassingen die in de toekomst kunnen ontwikkeld worden. Deze zijn: automatische transcriptie van gebarentaaldata, een zoekfunctie voor het vertalend woordenboek VGT-Nederlands, automatische vertaling van een gebarentaal naar geschreven taal en applicaties die toelaten individuele gebaren te leren en oefenen. De AI-modellen die beschreven zijn in dit onderzoek, zijn in staat om handvormen en bewegingen te herkennen. Op basis van deze bouwblokken kunnen ze ook gebaren herkennen, individueel of in een zin. De technieken die hiervoor gebruikt worden, zijn ook onderliggend aan de op dit moment meest geavanceerde AI-modellen. Op basis van het onderzoek zullen op de korte tot middellange termijn toepassingen voor gebarentalen kunnen ontwikkeld worden, gebruik makend van AI.


Taal proefschrift
Engels

Documenten