In deze dissertatie worden verschillende aspecten van neurale netwerken onderzocht met betrekking tot vier voorspellingsopdrachten op woordniveau in het domein van de natuurlijketaalverwerking, namelijk woordsoortclassificatie, morfologische classificatie, taalmodellering en entiteitsherkenning. Eerst wordt er onderzocht hoe we de invoer van een neuraal netwerk kunnen verbeteren met behulp van woordrepresentaties. Daarna worden twee verschillende methodes onderzocht die de interne werking van neurale netwerken verbeteren. De eerste methode focust op de architectuur van recurrente neurale netwerken, terwijl de tweede methode focust op de activatiefunctie die in recurrente neurale netwerken gebruikt wordt. Afsluitend wordt er een methode voorgesteld om de voorspellingen van neurale netwerken te interpreteren op basis van de invoer.