| Student: | Robbe Decorte |
|---|---|
| Richting: | Master of Science in de industriële wetenschappen: informatica |
| Abstract: | Bij een perifere aangezichtsverlamming is de patiënt (tijdelijk) niet in staat om (een deel van) de spieren in het gezicht te controleren, veelal langs één zijde. Het bepalen van de gradatie van een perifere aangezichtsverlamming gebeurt door de symmetrie van het gezicht in rust en in beweging te meten en/of te observeren. Op basis van de waargenomen of gemeten asymmetrieën kan de deskundige een gepast behandelingsplan opstellen en de evolutie van de patiënt volgen door verschillende meetmomenten met elkaar te vergelijken. Bij een observatie gebaseerd meetsysteem speelt het oordeel van de deskundige een belangrijke rol en zijn de resultaten in een bepaalde mate semi objectief. In deze masterproef wordt onderzocht als het mogelijk is om met computervisie, op een consistente manier, de resultaten van een deskundige (gedeeltelijk) te repliceren en visuele inzichten te geven over de evolutie van het herstelproces van de patiënt. In eerste instantie zijn verscheidene state of the art keypoint detectors uitgeprobeerd om de positie van belangrijke gezichtskenmerken te bepalen. Na een kwalitatieve en kwantitatieve analyse van bestaande frameworks worden de gedetecteerde posities gebruikt om de symmetrie van het gelaat te beoordelen. Dit gebeurt op basis van afstandsmetrieken tussen verschillende punten maar ook via meer geavanceerde textuurfilters. Na een formele beschrijving van een aantal scores die gekoppeld zijn aan de belangrijkste symptomen van een perifere aangezichtsverlamming kunnen deze toegepast worden op een reeks video’s waarin een patiënt verschillende bewegingen uitvoert alsook de rustpositie aanhoudt. Nadat de video’s verwerkt zijn door de symmetrie kwantificatie pipeline, worden enkele grafieken gegenereerd (globaal of per beweging) die een indicatie geven over de kwaliteit van de hoofdbewegingen en als er eventueel bijbewegingen optreden elders in het gelaat. |
| Abstract (Eng): | In peripheral facial paralysis, the patient is (temporarily) unable to control (part of) the muscles in the face, usually along one side. The degree of peripheral facial paralysis is determined by measuring and/or observing the symmetry of the face at rest and in various. Based on the observed or measured asymmetries, the expert can formulate an appropriate treatment plan and follow the evolution of the patient through the recovery by comparing measurements from different sessions. In an observation-based measurement system, the judgment of the expert plays an important role, and the results are semi objective. This master thesis investigates if it is possible to use computer vision, in a consistent manner, to (partially) replicate and provide visual insights about the evolution of the patient's recovery process. Initially, several state-of-the-art keypoint detectors were selected to determine the position of important facial features. After a qualitative and quantitative analysis of existing frameworks, the detected positions are used to assess the symmetry of the face. This is done based on distance metrics between different points but also through more advanced texture filters. After a formal description of multiple scores that are linked to the main symptoms of unilateral facial palsy, these can be applied to a series of videos in which a patient performs different movements as well as maintains the resting position. After the videos are processed by the symmetry quantification pipeline, several graphs are generated (globally or per movement) that give an indication of the quality of the targeted movements and if there are any secondary movements elsewhere in the face. |