Loss function verliesfunctie uitgelegd
Doel en werking
De verliesfunctie, ook wel kostenfunctie genoemd, kwantificeert de fout van het model. Tijdens training probeert het optimalisatie-algoritme deze fout te minimaliseren door de parameters aan te passen. De keuze van de verliesfunctie hangt af van de taak: bij regressie wordt vaak mean squared error (MSE) of mean absolute error (MAE) gebruikt; bij classificatie cross-entropy of hinge loss. De verliesfunctie moet differentieerbaar zijn voor gradient-based optimalisatie. Ze bepaalt mede hoe snel en stabiel het model leert. Een slecht gekozen verliesfunctie kan leiden tot trage convergentie of suboptimale prestaties. Daarom is het kiezen van een passende verliesfunctie een kernbeslissing in modelontwerp.
Veelgebruikte verliesfuncties
Voor regressie zijn MSE en MAE gangbaar. MSE bestraft grote fouten zwaarder en is gevoelig voor outliers; MAE is robuuster maar minder glad. Voor binaire classificatie wordt binaire cross-entropy gebruikt, die de waarschijnlijkheid van de juiste klasse maximaliseert. Voor multiclass-classificatie wordt categorische cross-entropy gebruikt, vaak met softmax. Voor taken met onevenwichtige klassen wordt soms focal loss gebruikt, die moeilijke voorbeelden zwaarder weegt. Bij reinforcement learning is de verliesfunctie gebaseerd op beloningen en waarde-schattingen. Naast de hoofdvliesfunctie kunnen regularisatietermen worden toegevoegd, zoals L1 en L2. Het monitoren van de verliescurve is een van de belangrijkste diagnostische hulpmiddelen bij het trainen van modellen.