Dit proefschrift presenteert een familie van nieuwe modelarchitecturen waarin we diepe neurale netwerken gebruiken om exacte Bayesiaanse voorspellingen te maken op basis van een verzameling van hoog-dimensionale, complexe waarnemingen. Onze modellen zijn aantoonbaar uitwisselbaar, wat betekent dat het model niet verandert als de waarnemingen in een andere volgorde zouden gebeuren. Deze eigenschap ligt aan de basis van Bayesiaanse statistiek. De modellen hebben geen onzekerheidsbenaderingen nodig om te trainen, en ze hebben ook een aantal aantrekkelijke computationele eigenschappen. Zo kan de kansverdeling van de voorspelling worden bemonsterd op basis van eerdere data, waarbij de geheugencomplexiteit constant is, en de tijdscomplexiteit lineair is in functie van het aantal datapunten. De voordelen van onze architecturen worden aangetoond op meta-taken. Die bestaan uit taken die een veralgemening vereisen op basis van verscheidene korte reeksen waarnemingen, terwijl ook de wijzigingen tussen die taken moet worden gemodelleerd in de meta-taak. Voorbeelden van dergelijke taken zijn onder meer het genereren of classificeren van afbeeldingen van nieuwe, ongeziene data, of het snel aanpassen van het gedrag van actoren die interageren met een veranderende omgeving.