Feedforward neural networks fnn
Zo ziet de basisopbouw eruit
Een Feedforward Neural Network, ook wel multilayer perceptron (MLP), is het basismodel binnen deep learning. Alles loopt één richting op. Dus eerst krijg je een invoerlaag, dan lopen de signalen via wat verborgen lagen, en uiteindelijk bereikt alles de uitvoerlaag. Er ontstaan onderweg geen terugkoppelingen; elke stap gaat alleen vooruit (vandaar de naam). In zo'n laag vind je telkens een serie neuronen, en elk neuron is verbonden met elke volgende in de daaropvolgende laag. Een neuron verwerkt binnenkomende signalen als volgt: eerst telt het alle gewogen inputs bij elkaar op, daarnaast komt er een bias bij, en daarna past het een activatiefunctie toe. Je komt vaak ReLU, sigmoid of tanh tegen op die plek. Bij klassificatie zie je in de uitvoerlaag geregeld softmax, bij regressie juist een lineaire activatie. Leren doet zo’n FNN met backpropagation: fouten gaan van de uiteindelijke uitvoer terug richting begin, en onderweg pas je de gewichten aan (meestal gebeurt dat met een gradiëntmethode). Als je genoeg lagen en genoeg neuronen toevoegt, kun je vrijwel elke continue relatie modelleren. Toch loopt dit model tegen beperkingen aan: zodra data een ruimtelijke structuur heeft, bijvoorbeeld foto’s, of een tijdsafhankelijk karakter, zoals gesproken tekst, levert een FNN het af tegen andere typen zoals een convolutioneel netwerk (CNN) of een RNN. FNN’s vind je terug bij gestructureerde tabeldata, eenvoudige voorspellingen, of soms als deelmodel in grotere bouwpakketten.
Hoe werkt trainen en waar loop je tegenaan
Je moet een FNN goed voorbereiden voor je gaat trainen. Dus: zorg ervoor dat je features allemaal netjes op vergelijkbaar niveau liggen, door bijvoorbeeld te normaliseren of standaardiseren, anders werkt het netwerk stroperig of komt soms niet uit op een werkbare oplossing. Aantal lagen en het aantal neuronen per laag? Dat kies je niet uit een formule, maar uitproberen is het devies. Te klein betekent dat het model patronen mist (underfitting), maar stop je er te veel capaciteit in, dan pikt het te veel details op uit je trainingsset en doet het het slecht op nieuwe data (overfitting). Gebruik dan zaken als dropout, weight decay of early stopping om dat te voorkomen. De leersnelheid is een gevoelige knop: draai je ‘m te hoog, dan springt het model alle kanten op; te laag, en het leert tergend langzaam. Voor het aanpassen van de gewichten gebruik je optimalisatiemethoden, Adam is populair, net als RMSprop of SGD met momentum (elk heeft z’n eigen effect). Maar let op, FNN’s zijn niet voor alles geschikt. Ze kunnen geen tijdsafhankelijkheid onthouden zoals sequenties. Geheugen ontbreekt volledig. En kom je met een grote hoeveelheid invoervelden, dan groeit het aantal verbindingen tussen de lagen zo hard dat het niet meer praktisch is. Bij plaatjes gebruik je sneller een CNN, voor zinnen of tekst een RNN of Transformer. Toch zijn simpele FNN’s nog steeds nuttig, bijvoorbeeld om klantgedrag te voorspellen, aanbevelingen te doen of fraude op te sporen.