Wat is gradient descent?
Principe en varianten
Gradient descent berekent de gradiënt van de verliesfunctie met betrekking tot elke parameter en past de parameter aan in de tegengestelde richting van de gradiënt. De grootte van de stap wordt bepaald door de leersnelheid. Er bestaan drie hoofdvarianten: batch gradient descent, die de volledige dataset gebruikt; stochastic gradient descent (SGD), die één voorbeeld per update gebruikt; en mini-batch gradient descent, die een kleine batch gebruikt. Mini-batch is in de praktijk het meest gangbaar vanwege de balans tussen efficiëntie en stabiliteit. Het algoritme convergeert naar een lokaal minimum of een punt in de buurt daarvan. Bij niet-convexe functies, zoals in deep learning, zijn er vele minima en zadelpunten.
Geavanceerde optimalisatietechnieken
Standaard gradient descent kent uitdagingen: een te hoge leersnelheid veroorzaakt oscillatie, een te lage leersnelheid trage convergentie. Daarom zijn geavanceerde varianten ontwikkeld. Momentum versnelt convergentie door een gewogen gemiddelde van eerdere gradiënten te gebruiken. Nesterov-versnelling verbetert dit verder. Adagrad past de leersnelheid per parameter aan op basis van historische gradiënten. RMSProp en Adam combineren momentum en adaptieve leersnelheden en zijn de standaard in veel deep learning-toepassingen. Learning rate scheduling verlaagt de leersnelheid tijdens training voor fijnere convergentie. Deze technieken maken training sneller en robuuster, maar voegen eigen hyperparameters toe. Het begrijpen van gradient descent is essentieel voor het debuggen en optimaliseren van neurale netwerken.