Machinaal Leren (ML) wordt in mindere mate toegepast in kritische domeinen, waar hoge consequenties vasthangen aan het nemen van beslissingen, vanwege een gebrek aan transparantie en uitlegbaarheid van de huidige populaire technieken die vaak als 'black-box' beschouwd worden. In deze thesis proberen we enerzijds ML systemen meer uitlegbaar te maken door te focussen op white-box ML technieken en anderzijds de transparantie te verhogen door het inbrengen van expert-kennis. Aan de basis van een uitlegbaar systeem liggen uitlegbare variabelen, die vaak veel inspanning vergen om geëxtraheerd te worden van complexere datastructuren zoals grafen en tijdsreeksen. Ook deze extractie van variabelen, met een minimum van inspanning, is een focus van deze dissertatie. In totaal stellen we drie innovatieve technieken voor die één of meerdere van de vooropgestelde onderzoeksuitdagingen aanpakken. Daarbovenop stellen we ook twee uitbreidingen van bestaande algoritmes voor en bespreken we twee toepassingen voor deze technieken.