Viewport voorspellen aan de hand van machinaal leren voor adaptief virtual reality video streaming

Studenten:Arne Diaz-Herrera en Youssef El Badaoui
Richting:Master of Science in de industriële wetenschappen: informatica
Abstract:Nu de opkomst van Virtual Reality volop aan de gang is, stijgt ook de nood om efficiënt 360-video's te streamen op mobiele toestellen. Door hoge vereisten in bandbreedte is deze technologie nog niet bruikbaar voor het grote publiek. De huidige technieken die gebruikt worden bij 2D video's om de beschikbare bandbreedte optimaal te benutten kunnen mits aanpassingen gebruikt worden om 360-video's efficiënt te streamen. Hierbij wordt de video opgesplitst in verschillende tiles waarbij elke tile in een andere kwaliteit gestreamd kan worden onafhankelijk van de andere tiles. Om de bandbreedte te beperken zullen enkel de tiles, die zich in het gezichtsveld van de kijker bevinden (viewport van de kijker), gestreamd worden aan de hoogste kwaliteit. Hierdoor is er nood aan een algoritme dat kan voorspellen welke tiles de kijker op elk moment in zijn gezichtsveld heeft. Dit komt erop neer om de viewport te voorspellen. Deze thesis beschrijft een content agnostic machine learning based approach om dit viewport prediction probleem aan te pakken. Eerst wordt een bekende dataset uitvoerig geanalyseerd. Deze dataset wordt dan gebruikt om de verschillende methodes die ontworpen worden te vergelijken tegenover de state-of-the-art methoden. Er worden drie methodes geïmplementeerd en besproken: een neuraal netwerk, een lineaire regressie en een aangepaste 3D extrapolatie. Uit de resultaten blijkt dat het neuraal netwerk gemiddeld bij elke video het beste presteert maar dit is niet het geval bij elke gebruiker.
Abstract (Eng):The recent emergence of Virtual Reality streaming (VR) brings the need to reduce the required bandwidth as much as possible. Lately reducing the required bandwidth is approached via viewport-based adaptive streaming, this method implies that only the visible viewport plus a portion of extra buffer around the viewport gets transmitted. In this paper a machine learning based approach to viewport-based adaptive streaming is proposed. To test the developed algorithms the data of a well-known viewport-traces dataset is used. First of all the dataset is analysed to discover possible existing patterns, then the developed models are evaluated and compared against methods currently used in the state-of-the-art.