In dit proefschrift onderzoeken we het gebruik van diepe neurale netwerken voor het herkennen van gebaren en gebarentaal
in videos. Onderzoek om de herkenning van gebarentaal te automatiseren is niet alleen belangrijk voor mensen met een gehoorbeperking, maar ook voor hun collegas, vrienden en familie die de taal willen leren met een leersoftwareplatform of een digitale woordenboek voor gebarentaal. Verder kost het annoteren van een gebarentaalcorpus (een grote verzameling van videos met gebarentaal) veel inspanning, tijd en financiering. Onderzoek naar het herkennen van gebaren en gebarentaal zou deze kosten helpen te verlichten door de annotatie te versnellen. We beginnen met het classificeren van een twintig-tal gebaren die relatief eenvoudig van elkaar te onderscheiden zijn. De veelbelovende resultaten leiden ons tot het bestuderen van deze methodes voor het herkennen van gebarentaal in videocorpora en nieuwsuitzendingen van de VRT. We experimenteren eerst met de classificatie van geïsoleerde gebaren (het begin en het einde van elke gebaar is gegeven) voordat de continue herkenning van gebarentaal wordt aangepakt. | |