Wat zijn gewichten weights en biases?
Gewichten als verbindingssterkte
In een neuraal netwerk vertegenwoordigt elk gewicht de mate waarin de uitvoer van de ene neuron bijdraagt aan de invoer van de volgende. Tijdens training worden gewichten aangepast om de fout te minimaliseren. Een groot positief gewicht betekent een sterke excitatoire invloed; een groot negatief gewicht een remmende invloed. Gewichten worden geïnitialiseerd met kleine willekeurige waarden, zoals Xavier- of He-initialisatie, om symmetrie te doorbreken en gradiënten stabiel te houden. Het aantal gewichten in een netwerk kan oplopen tot miljarden. Ze vormen de opgeslagen kennis van het model en worden samen met de architectuur bewaard in modelbestanden. Regularisatie zoals weight decay beperkt hun grootte om overfitting te voorkomen.
Biases als verschuiving
Een bias is een extra parameter die bij de gewogen som wordt opgeteld voordat de activatiefunctie wordt toegepast. Zonder bias zou een neuron met nul invoer altijd nul uitvoeren, wat de flexibiliteit beperkt. De bias stelt het netwerk in staat de activatiefunctie te verschuiven, waardoor het beter complexe patronen kan leren. Elke neuron heeft doorgaans een eigen bias. Net als gewichten worden biases tijdens training geleerd via backpropagation. In sommige architecturen, zoals convolutionele lagen, worden biases soms weggelaten als batch normalization wordt gebruikt. Gewichten en biases samen bepalen volledig het gedrag van een getraind netwerk. Het analyseren van hun waarden kan inzicht geven in wat het model heeft geleerd, al is dit bij grote netwerken vaak moeilijk.