Feedforward neural networks fnn
De basisarchitectuur
Een Feedforward Neural Network (FNN), ook wel multilayer perceptron (MLP) genoemd, is de eenvoudigste vorm van een deep neural network. De informatie stroomt in één richting: van de invoerlaag, via de verborgen lagen, naar de uitvoerlaag. Er zijn geen terugkoppelingen of cycli. Elke laag bestaat uit neuronen die volledig verbonden zijn met de neuronen in de volgende laag. Elk neuron berekent een gewogen som van zijn invoer, telt een bias op en past een activatiefunctie toe. Veelgebruikte activatiefuncties zijn ReLU, sigmoid en tanh. De uitvoerlaag gebruikt vaak softmax voor classificatie of een lineaire functie voor regressie. FNN's worden getraind met backpropagation: de fout wordt van de uitvoerlaag terug naar de invoerlaag gepropageerd en de gewichten worden aangepast met gradiëntdescent. FNN's kunnen elke continue functie benaderen, gegeven genoeg neuronen en lagen. Ze zijn echter niet geschikt voor data met een ruimtelijke of temporele structuur, zoals afbeeldingen of tekst. Daarvoor zijn CNN's en RNN's beter. FNN's worden gebruikt voor tabeldata, eenvoudige classificatie en regressie, en als bouwstenen in grotere architecturen.
Training en beperkingen
Het trainen van een FNN vereist een goede voorbereiding van de data. Features moeten worden genormaliseerd of gestandaardiseerd, anders kan het netwerk slecht convergeren. De keuze van het aantal lagen en neuronen per laag is een hyperparameter die via experimentatie wordt bepaald. Te weinig capaciteit leidt tot underfitting; te veel tot overfitting. Regularisatietechnieken zoals dropout, weight decay en early stopping helpen overfitting te voorkomen. De leersnelheid is cruciaal: te hoog leidt tot oscillaties, te laag tot trage convergentie. Optimalisatiemethoden zoals Adam, RMSprop en SGD met momentum worden gebruikt. FNN's hebben beperkingen. Ze kunnen niet goed omgaan met sequentiële data, omdat ze geen geheugen hebben. Ze zijn ook gevoelig voor de vloek van dimensionaliteit: bij veel features neemt het aantal gewichten snel toe. Voor beelddata zijn CNN's veel efficiënter; voor tekst zijn RNN's en Transformers beter. Desondanks blijven FNN's belangrijk als basis en als onderdeel van complexere modellen. Ze worden gebruikt in aanbevelingssystemen, het voorspellen van klantgedrag en het detecteren van fraude.