Bias variance tradeoff
Bias en variantie uitgelegd
Bias verwijst naar de systematische fout die ontstaat doordat een model de werkelijkheid te simplistisch benadert. Een lineair model dat een niet-lineaire relatie probeert te vangen, heeft een hoge bias. Variantie verwijst naar de gevoeligheid van een model voor fluctuaties in de trainingsdata. Een complex model dat sterk reageert op kleine veranderingen in de data, heeft een hoge variantie. De totale verwachte fout van een model kan worden opgesplitst in bias², variantie en onreduceerbare ruis. Er bestaat een tradeoff: het verminderen van bias leidt vaak tot meer variantie en omgekeerd. Het doel is een model te vinden dat de totale fout minimaliseert, wat neerkomt op een optimale balans tussen beide.
Praktische implicaties
In de praktijk betekent de bias-variantietradeoff dat modelselectie en regularisatie cruciaal zijn. Een te eenvoudig model underfit (hoge bias, lage variantie); een te complex model overfit (lage bias, hoge variantie). Technieken zoals cross-validatie helpen om de optimale complexiteit te vinden. Ensemble-methoden zoals bagging reduceren variantie, terwijl boosting bias reduceert. Regularisatie verhoogt bias maar verlaagt variantie. Moderne deep learning-modellen lijken de klassieke tradeoff deels te doorbreken: zeer grote netwerken kunnen zowel lage bias als lage variantie bereiken, mits voldoende data en juiste regularisatie. Dit fenomeen, bekend als double descent, daagt het klassieke beeld uit. Desondanks blijft de tradeoff een nuttig denkkader voor het begrijpen van generalisatie en modelkeuze.