Anomaliedetectie afwijkingsdetectie
Het vinden van het ongewone
Anomaliedetectie, ook wel afwijkingsdetectie genoemd, is het proces van het identificeren van datapunten, gebeurtenissen of patronen die niet overeenkomen met het verwachte gedrag. Anomalieën kunnen wijzen op fouten, fraude, storingen of nieuwe verschijnselen. Anomaliedetectie wordt gebruikt in veel domeinen: van het detecteren van frauduleuze creditcardtransacties tot het monitoren van industriële machines en het opsporen van ziektes in medische beelden. Er zijn drie hoofdvormen: supervised, semi-supervised en unsupervised anomaliedetectie. Bij supervised anomaliedetectie zijn er gelabelde voorbeelden van zowel normale als afwijkende data. Dit is echter zeldzaam, omdat anomalieën vaak niet gelabeld zijn. Bij semi-supervised anomaliedetectie wordt een model getraind op alleen normale data en leert het afwijkingen te herkennen als datapunten die niet bij het normale patroon passen. Bij unsupervised anomaliedetectie wordt geen onderscheid gemaakt tussen normaal en afwijkend; het algoritme zoekt zelf naar datapunten die afwijken van de meerderheid. Veelgebruikte methoden zijn Isolation Forest, One-Class SVM, Local Outlier Factor (LOF) en autoencoders.
Methoden en toepassingen
De keuze van de methode hangt af van de data en het probleem. Isolation Forest is een populair algoritme dat anomalieën isoleert door willekeurige splitsingen te maken. Het is snel en schaalbaar. One-Class SVM leert een grens rond de normale data en beschouwt alles daarbuiten als anomalie. Local Outlier Factor vergelijkt de dichtheid van een datapunt met die van zijn buren. Autoencoders leren een compressie van normale data en markeren datapunten met een hoge reconstructiefout als anomalie. Anomaliedetectie kent uitdagingen. Het aantal anomalieën is vaak klein, wat leidt tot class imbalance. Het is moeilijk om een goede drempelwaarde te kiezen: te hoog en je mist anomalieën, te laag en je krijgt veel valse positieven. Ook kan het normale patroon in de loop van de tijd veranderen (concept drift), waardoor het model moet worden bijgewerkt. Toepassingen zijn te vinden in cybersecurity (het detecteren van inbraken), de financiële sector (fraude), de industrie (voorspellend onderhoud), de gezondheidszorg (het detecteren van ziektes) en de astronomie (het vinden van nieuwe sterrenstelsels). Anomaliedetectie is een essentieel hulpmiddel in elke datagedreven organisatie.