Design en implementatie van een intelligent framework voor edge anomaliedetectie in gedistribueerde systemen

Student:Bavo Andriessen
Richting:Master of Science in de industriële wetenschappen: informatica
Abstract:De trend naar cloud en edge computing heeft geleid tot de ontwikkeling van een alternatieve applicatiearchitectuur die de tekortkomingen van de traditionele monolithische architectuur aanpakt: de microservice architectuur. Deze architectuur heeft een aantal voordelen ten opzichte van de monolithische architectuur, zoals schaalbaarheid en fout-tolerantie. Microservice applicaties hebben echter de neiging om complexer te zijn. Deze complexiteit maakt het moeilijk voor systeembeheerders om een overzicht te krijgen van of de services zich gedragen zoals verwacht. Daarom is geautomatiseerde monitoring en anomaliedetectie essentieel in deze systemen. Monitoring en anomaliedetectie worden doorgaans gedaan op een gecentraliseerde manier: een centrale service is verantwoordelijk voor het monitoren van alle services in het gedistribueerde systeem. De anomalie detectie kan dan worden toegepast op de gecentraliseerde data. Deze aanpak heeft als voordeel dat het eenvoudig te beheren is, maar als nadeel dat alle ruwe monitoring data over netwerk moet gestuurd worden naar de centrale monitoring service. Dit zorgt voor extra netwerkverkeer en vertraging op de communicatie. Dit probleem is nog meer uitgesproken in edge en Internet of Things (IoT) situaties. In deze thesis worden twee architecturen voorgesteld die het anomaliedetectiemodel dichter brengt bij de service die gemonitord wordt, met als doel het netwerkverkeer dat veroorzaakt wordt door monitoring te reduceren. The architecturen worden geïmplementeerd in de vorm van een framework. Aan de hand van deze implementatie zullen de architecturen geëvalueerd worden op performantie en functionaliteit.
Abstract (Eng):The trend towards cloud and edge computing has led to an alternative application architecture to tackle the shortcomings of the traditional monolithic architecture: the microservice architecture. This architecture has advantages over the monolithic architecture, such as scalability and fault tolerance. However, these microservice applications tend to be more complex. This complexity makes it more difficult for a system administrator to know when services are misbehaving. Therefore, automated monitoring and anomaly detection become essential in these systems. Monitoring and anomaly detection is commonly performed in a centralized manner: a central service is responsible for monitoring all services in the distributed systems. The anomaly detection is then performed on the centralized data. While this approach is easy to manage, it also has a drawback: all monitoring data must traverse the network to reach the central monitoring service. This introduces additional network traffic and latency. This problem becomes more prominent in edge or IoT use cases. In this thesis, two architectures are proposed to bring the anomaly detection model closer to the service it is monitoring, to ultimately reduce the network usage overhead introduced by monitoring. They are implemented in the form of a framework and evaluated on performance and functionality.