| Student: | Peter Bonnarens |
|---|---|
| Richting: | Master of Science in de industriële wetenschappen: informatica |
| Abstract: | Het domein van computer visie is sterk geëvolueerd in het laatste decennium. Deze evolutie ligt aan de basis van de ontwikkeling van nieuwe technologieën zoals virtual reality en zelfrijdende auto's. Human pose estimation (HPE) is een taak binnen computer visie waarbij de houding van personen wordt geschat op een foto of video. Creative Therapy, een spin-off van de UGent, wil HPE gebruiken om revalidatietherapie te verbeteren. In deze masterproef worden de meest gebruikte oplossingstechnieken binnen HPE besproken. Verder worden enkele bestaande state-of-the-art modellen van TensorFlow geëvalueerd op snelheid en accuraatheid. Met behulp van deze resultaten werd vervolgens een webplatform ontwikkeld, genaamd Sensi, dat de houding van de gebruiker in near real-time bepaalt in de browser. Nadien worden deze resultaten gebruikt om enkele grafieken te genereren die de uitvoering van de oefening beschrijven. Tot slot wordt een uitbreiding naar 3D pose estimation besproken en uitgetest. |
| Abstract (Eng): | The domain of computer vision has evolved drastically in the last decade. This evolution lies at the basis of the development of new technologies, such as virtual reality and autonomous cars. One of the sub-domains of computer vision is human pose estimation (HPE). The task of HPE is to estimate the location of body joints given a certain input image or video. Creative Therapy, a spin-off of Ghent University, wants to use HPE to improve rehabilitation therapy. In this master’s thesis, the most common solutions within the domain of human pose estimation are described. Next, some state-of-the-art pose estimation models from TensorFlow are evaluated on performance and accuracy. Based on the results of this evaluation, a web platform has been developed, named Sensi, which evaluates the pose of the user in near real-time by running a pose estimation model in the browser. Afterwards, Sensi uses the captured data to generate some statistics to inform the user of his performance. At last, an expansion of the used model to a 3D pose estimation solution is tried and evaluated. |