De voorbij jaren kenden een ongeziene vooruitgang in het onderzoeksgebied gekend als "Deep Learning", een subdomein binnen de "machine learning". Diepe neurale netwerken zijn nu in staat om taken zoals beeld- en spraakherkenning op menselijk niveau uit te voeren. Ze kunnen zelfs menselijke spelers verslaan bij complexe spellen zoals Go of Dota 2. Deep learning werd heel snel toegepast door technologiebedrijven zoals Google, Microsoft, Facebook, NVIDIA of Baidu die machine learning zien als een belangrijk onderdeel van hun producten. Nieuwe innovaties verhuizen dan ook snel van onderzoek naar productie. Producten zoals Google Translate, Google Photos, voice assistants (bv: Alexa of Siri) en Apple's FaceID gebruiken deep learning technieken achter de schermen. Het nadeel van deze technieken is dat ze veel rekenkracht vereisen wat het moeilijk maakt om ze te gebruiken op mobiele toestellen. In dit proefschrift worden verschillende technieken onderzocht die neurale netwerken efficiënter maken. Er wordt vooral gefocust op de flexibiliteit waarbij er afhankelijk van de taak of van externe factoren meer of minder rekenkracht nodig is om een voorspelling te doen.