Met de opkomst van smartphones en wearables is onderzoek naar nieuwe en intuïtieve interactieparadigma de afgelopen jaren enorm populair geworden. Een belangrijk onderzoeksdomein in deze context is videogebaseerde gebarenherkenning, handdetectie en handtracering. Handgestuurde interactie laat de gebruiker toe om direct te interageren met de computer op een natuurlijke wijze door een virtuele realiteit te verkennen met behulp van de eigen lichaamstaal. In dit proefschrift onderzoeken we hoe robuuste handdetectie en -tracering bereikt kan worden, rekening houdend met de vereiste dat dit moet gebeuren in ware tijd. In de context van mens-computer interactie wordt ‘ware tijd’ gedefinieerd door zowel een kleine vertraging tussen invoer en uitvoer, en een lage complexiteit. Hierdoor kan een volledig videobeeld verwerkt worden alvorens het volgende beeld beschikbaar is. Verder moeten de algoritmen ook robuust zijn tegen belichtingsveranderingen, camerabeweging, en veranderende achtergrond. Ten slotte moet het systeem in staat zijn om automatisch te initialiseren en om traceringsfouten te detecteren en te herstellen. We bestuderen daarom een brede waaier aan bestaande algoritmen, en stellen significante verbeteringen en nieuwe methoden voor om een volledig detectie- en trackingsysteem te bouwen dat voldoet aan al deze vereisten.