Wat is under fitting?
Oorzaken en herkenning
Underfitting treedt op wanneer een model niet in staat is de complexiteit van de data te vangen. Dit kan komen door een te eenvoudige architectuur, te weinig parameters, onvoldoende training of een te sterke regularisatie. Het model presteert dan slecht op zowel de trainingsset als de testset, wat wijst op een hoge bias. In leercurves is te zien dat zowel trainings- als validatiefout hoog blijven en elkaar niet naderen. Underfitting is het tegenovergestelde van overfitting, maar net zo problematisch: het model mist essentiële patronen en doet systematisch verkeerde voorspellingen. Het herkennen van underfitting is belangrijk omdat het vaak wijst op een verkeerde modelkeuze of onvoldoende capaciteit.
Oplossingen voor underfitting
Om underfitting te verhelpen zijn verschillende strategieën mogelijk. Het verhogen van de modelcomplexiteit, bijvoorbeeld door meer lagen of neuronen toe te voegen, vergroot de capaciteit. Het verminderen van regularisatie kan ook helpen, omdat te sterke beperkingen het model belemmeren te leren. Het langer trainen of het verhogen van de leersnelheid kan convergentie bevorderen. Daarnaast kan het toevoegen of construeren van relevante features de leerbaarheid vergroten. Soms is een andere algoritmische aanpak nodig, zoals overstappen van lineaire regressie naar een niet-lineair model. Het is belangrijk om underfitting niet te verwarren met een slechte datakwaliteit: als de data geen leerbare patronen bevatten, kan geen enkel model goed presteren. Diagnose vereist daarom zowel model- als data-analyse.