Stochastische processen vertegenwoordigen systemen waarvan de tijdsevolutie onzeker is. Ze worden op grote schaal gebruikt in verschillende wetenschappelijke domeinen om ermee te redeneren, conclusies te trekken en beslissingen te nemen. Zodra we de waarschijnlijkheidsverdelingen voor een stochastisch proces specificeren, kunnen we verschillende grootheden berekenen die ons inzicht geven in het gedrag van het systeem. In de praktijk hebben we vaak enkel gedeeltelijke kennis over deze verdelingen, vooral wanneer ze afgeleid zijn uit beperkte en/of onbetrouwbare gegevens of uit bevraging van experten die het niet noodzakelijk met elkaar eens zijn. Om deze reden lijkt het realistischer om te werken met verzamelingen van waarschijnlijkheidsverdelingen. Dit doctoraatsonderzoek richt zich op de ontwikkeling van berekeningsmethoden voor robuust redeneren met stochastische processen, en meer in het bijzonder met Markov-ketens, waarvan we enkel weten dat de verdelingen tot gegeven verzamelingen behoren. De ontwikkelde methoden zijn gebaseerd op twee theoretische kaders, het maattheoretische en het martingaaltheoretische kader, en maken de berekening mogelijk van onder- en bovengrenzen voor de verwachtingswaarden van verschillende types functies. Bovendien voldoen deze methoden aan interessante eigenschappen die de berekening van die onder- en bovengrenzen efficiënt maken. We passen ze ook toe binnen de theorie van wachtlijnen, waarbij we diverse praktisch relevante conclusies trekken.