One-shot teamherkenning en 3D pose estimation van wielrenners voor augmented reality visualisatie

Student:Winter Clinckemaillie
Richting:Master of Science in de industriële wetenschappen: informatica
Abstract:Het toepassen van geavanceerde computervisie en machine learning technologieën transformeert hoe we sportevenementen ervaren. Dit onderzoek richt zich op het verbeteren van de kijkervaring bij wielerwedstrijden door het identificeren en classificeren van teams vanuit helikopterbeelden, waarbij wordt ingegaan op uitdagingen veroorzaakt door snelle bewegingen en vaak gelijkende teamuniformen. State-of-the-art objectdetectie en one-shot teamherkenning via Siamese neurale netwerken zijn geïmplementeerd om een efficiënte teamclassificatie te bieden met minimale labeling. Verschillende geavanceerde computervisiemodellen zijn getest op hun effectiviteit in het nauwkeurig herkennen van teams. Verder zijn temporele tracking en postprocessing technieken toegepast om de prestaties van de classificatie te versterken. Deze methoden tonen aan dat de kwaliteit van gegevens tijdens uitzendingen verbeterd kan worden, wat informatie toevoegt aan de uitzending en kan leiden tot een boeiendere kijkervaring. De ontwikkelde software ondersteunt ook post-race analyses met visualisaties die inzichten bieden in de prestaties van de teams. Het onderzoek verkent verder het gebruik van augmented reality (AR) en 3D pose-schatting om de visuele presentatie van live-uitzendingen te verbeteren. Dit omvat het integreren van realtime gegevens zoals de namen of snelheden van de renners, wat de informatieve waarde van de uitzending verrijkt. De combinatie van AR en geavanceerde computervisie opent nieuwe mogelijkheden om live sportuitzendingen te verbeteren.
Abstract (Eng):Applying advanced computer vision and machine learning technologies transforms how we experience sports events. This research focuses on enhancing the viewing experience of cycling races by identifying and classifying teams from helicopter footage, addressing challenges posed by fast movements and often similar team uniforms. State-of-the-art object detection and one-shot team recognition via Siamese neural networks are implemented to provide efficient team classification with minimal labeling. A range of advanced computer vision models have been tested for their effectiveness in accurately recognizing teams. Furthermore, temporal tracking and post-processing techniques have been applied to strengthen classification performance. These methods demonstrate that the quality of data during broadcasts can be improved, adding valuable information to the broadcast and leading to a more engaging and informative viewing experience. The developed software also facilitates post-race analyses with visualizations that offer insights into team performances. The research further explores using augmented reality (AR) and 3D pose estimation to enhance the visual presentation of live broadcasts. This involves integrating real-time data such as the riders' names or speeds, enriching the broadcast's informational value. The combination of augmented reality and advanced computer vision opens up new possibilities for enhancing live sports broadcasts.