In tegenstelling tot hun kleinere tegenhangers, hebben grote DNN-modellen in de voorbije jaren opvallend goede resultaten behaald bij het uitvoeren van verschillende NLP-taken.
Als gevolg hiervan is er binnen het NLP-domein een race ontstaan om betere resultaten te behalen door grotere modellen te ontwikkelen.
Deze trend in de richting van steeds grotere modellen en complexiteit evolueert zo snel dat state-of-the-art modellen nu om de paar maanden worden vervangen.
Het huidige tempo is echter onhoudbaar vanwege de kost, beschikbaarheid van hardware,
en technische moeilijkheden.
Omwille van deze redenen is de efficiëntie van zulke modellen op vlak van architectuur, training en inferentie vanuit verschillende perspectieven van vitaal belang geworden.
In dit proefschrift presenteren we verschillende strategieën om de efficiëntie van NLP-modellen te verbeteren.
Concreet doorlopen we stadia die vaak worden geassocieerd met de ontwikkeling van NLP-gebaseerde systemen, waaronder (voor)verwerking van gegevens, “pretraining”, “finetuning” en “inference”, en presenteren we verschillende technieken om bepaalde doelen of resultaten te bereiken met minder middelen (bijv. rekenkracht). | |