Batch size en iterations
Batch size en zijn effecten
De batch size bepaalt hoeveel voorbeelden het model verwerkt voordat de gewichten worden bijgewerkt. Bij stochastic gradient descent (SGD) is de batch size 1; bij batch gradient descent is het de volledige dataset; bij mini-batch gradient descent ligt het daartussenin, vaak tussen 16 en 512. Een kleine batch geeft meer updates per epoch, wat kan leiden tot snellere convergentie maar ook tot meer ruis in de gradiënt. Een grote batch geeft stabielere gradiënten en betere hardwarebenutting, maar kan vastlopen in scherpe minima en heeft meer geheugen nodig. De keuze beïnvloedt generalisatie: kleine batches hebben soms een regulariserend effect. Batch size is dus een belangrijke hyperparameter die balans vereist tussen snelheid, stabiliteit en geheugen.
Iteraties en trainingsefficiëntie
Een iteratie is één update van de modelparameters op basis van één batch. Het aantal iteraties per epoch is het totale aantal trainingsvoorbeelden gedeeld door de batch size. Bij 50.000 voorbeelden en een batch size van 250 zijn er 200 iteraties per epoch. Het totale aantal iteraties over alle epochs bepaalt hoe vaak het model leert. Iteraties zijn de fundamentele stappen in optimalisatie: elke iteratie berekent de gradiënt en past de gewichten aan. Het monitoren van de verliesfunctie per iteratie geeft inzicht in convergentie en stabiliteit. Te weinig iteraties leidt tot underfitting; te veel kan overfitting veroorzaken. Het combineren van een geschikte batch size, leerstrategie en early stopping is essentieel voor efficiënte training.