Doctoraat in de ingenieurswetenschappen: computerwetenschappen

Op weg naar efficiënte NLP-modellen: strategieën voor het verbeteren van gegevensselectie, training en inferentie


Doctorandus Publieke verdediging
Naam: Amir Hadifar   Datum: Vrijdag 23/06/2023 om 16:00 
Adres: ()
, null null
  Lokatie: auditorium 1, iGent, eerste verdieping, Technologiepark Zwijnaarde 126, 9052 Zwijnaarde
Contact FEA: info.ea@ugent.be   Taal: Engels

Curriculum

Promotor
Chris Develder
Thomas Demeester
Veronique Hoste

Examencommissie
prof. Filip De Turck
Chris Develder (EA05)
Thomas Demeester (EA05)
Veronique Hoste (LW22)
Guy De Tré
Giannis Bekoulis
Orphée De Clercq
Jefrey Lijffijt, Universiteit Gent, Faculteit Ingenieurswetenschappen en Architectuur, EA06 - Vakgroep Elektronica en Informatiesystemen, Technologiepark Zwijnaarde 122, 9052 Zwijnaarde
E: jefrey.lijffijt@ugent.be

Onderzoeksthema

In tegenstelling tot hun kleinere tegenhangers, hebben grote DNN-modellen in de voorbije jaren opvallend goede resultaten behaald bij het uitvoeren van verschillende NLP-taken. Als gevolg hiervan is er binnen het NLP-domein een race ontstaan om betere resultaten te behalen door grotere modellen te ontwikkelen. Deze trend in de richting van steeds grotere modellen en complexiteit evolueert zo snel dat state-of-the-art modellen nu om de paar maanden worden vervangen. Het huidige tempo is echter onhoudbaar vanwege de kost, beschikbaarheid van hardware, en technische moeilijkheden. Omwille van deze redenen is de efficiëntie van zulke modellen op vlak van architectuur, training en inferentie vanuit verschillende perspectieven van vitaal belang geworden. In dit proefschrift presenteren we verschillende strategieën om de efficiëntie van NLP-modellen te verbeteren. Concreet doorlopen we stadia die vaak worden geassocieerd met de ontwikkeling van NLP-gebaseerde systemen, waaronder (voor)verwerking van gegevens, “pretraining”, “finetuning” en “inference”, en presenteren we verschillende technieken om bepaalde doelen of resultaten te bereiken met minder middelen (bijv. rekenkracht).


Taal proefschrift
Engels

Documenten