Privacy-vriendelijke reconstructie van verkeersvideo's met 3D-modellen

Student:Axelle Penninger
Richting:Master of Science in de industriƫle wetenschappen: informatica
Abstract:In het huidige tijdperk worden aanzienlijke hoeveelheden data gegenereerd door talloze verkeerscamera's. Deze data zijn van onschatbare waarde voor het trainen van machine learning modellen. Echter, gezien de aanwezigheid van privacygevoelige informatie, zoals nummerplaten en gezichten, gelden er strikte regelgevingen met betrekking tot de opslag en het gebruik van deze data. Om deze datasets toch onbeperkt te kunnen opslaan en delen, worden ze eerst geanonimiseerd. Verschillende technieken worden reeds gebruikt om verkeersbeelden te anonimiseren, zoals het vervagen (blurren) van beelden, het pixeliseren van beelden en het maskeren van privacygevoelige informatie. Deze technieken kennen echter beperkingen en bieden geen garantie dat alle privacygevoelige data effectief worden verborgen. In deze masterproef wordt een alternatieve methode voorgesteld voor het anonimiseren van verkeersbeelden waarbij voertuigen, die mogelijk privacygevoelige informatie bevatten, worden vervangen door gelijkaardige 3D-modellen. Deze voorgestelde methode combineert verschillende technieken, waaronder background modelling, object detection, object tracking, CycleGAN's en Convolutional Neural Networks, om het anonimisatieproces te realiseren. Een visuele analyse toont aan dat de privacy effectief gewaarborgd wordt. Echter, er is een discrepantie tussen het gedrag in de originele video's en dat in de gereconstrueerde video's, ook de realistische weergave kan nog verbeterd worden. Deze uitdagingen worden veroorzaakt door verschillende factoren, waaronder onnauwkeurigheden in de object detection en enkele tekortkomingen van de CycleGAN's. Ondanks de mogelijke verbeteringen biedt deze voorgestelde methode een solide basis voor het verbergen van privacygevoelige data met behulp van 3D-modellen. Diverse suggesties voor verder onderzoek worden gedaan om deze verbeteringen te realiseren.
Abstract (Eng):In the current era, significant amounts of data are generated by numerous traffic cameras. These data are invaluable for training machine learning models. However, due to the presence of privacy-sensitive information such as license plates and faces, strict regulations govern the storage and use of these data. To enable unlimited storage and sharing of these datasets, anonymization techniques can be applied. Various techniques are already used to anonymize traffic images, such as blurring images, pixelating images and masking privacy-sensitive information. However, these techniques have limitations and do not guarantee effective hiding of all privacy-sensitive data. This research proposes an alternative method for anonymizing traffic images, in which vehicles containing potentially privacy-sensitive information are replaced with similar 3D models. This proposed method combines various techniques, including background modeling, object detection, object tracking, CycleGANs, and Convolutional Neural Networks, to realize the anonymization process. A visual analysis demonstrates that privacy is effectively safeguarded. However, there is a discrepancy between the behavior in the original videos and that in the reconstructed videos, also the realistic representation can be improved. These challenges are caused by several factors, including inaccuracies in object detection and some shortcomings of CycleGANs. Despite potential improvements, this proposed method provides a solid foundation for hiding privacy-sensitive data using 3D models. Several suggestions for further research are made to realize these improvements.