Wat is gradient descent?

Hoe het werkt en bekende soorten

Je berekent de gradiënt van de verliesfunctie ten opzichte van elke parameter, en pas daarna iedere parameter direct aan, precies de tegengestelde kant op. Hoe groot die stap is? Dat hangt af van de leersnelheid die je kiest. Je hebt meerdere aanpakken: bij batch gradient descent neem je de hele dataset tegelijk, bij stochastic gradient descent (SGD) pak je één voorbeeld per keer, en mini-batch zit daar precies tussenin met een setje voorbeelden tegelijk. In de praktijk, wil je meestal mini-batch gebruiken, omdat dat sneller werkt zonder dat het onstabiel wordt. Het algoritme stopt meestal bij een lokaal minimum of dichtbij zo'n punt. In deep learning zie je vaak niet-convexe functies, waardoor je eindigt bij een willekeurig minimum of een zadelpunt.

Slimmere optimalisatie

Met gewone gradient descent zit je soms te hannesen: een hoge leersnelheid laat je parameters heen en weer springen, maar een te lage waarde zorgt ervoor dat het tergend langzaam gaat. Daarom zijn er slimmere technieken bedacht. Gebruik je Momentum, dan kijk je naar het gemiddelde van eerdere richtingen om vaart te houden. Bij Nesterov krijg je hier nog een extra voorspelling bij. Adagrad laat elke parameter zelf bepalen hoe snel die bijleert, aan de hand van hoe vaak die al een grote stap gemaakt heeft. RMSProp en Adam combineren momentum en aanpasbare leersnelheden, en kom je standaard tegen in deep learning. Soms verlaag je de leersnelheid automatisch tijdens het trainen, dat is learning rate scheduling (helpt je nog dichter bij het optimum te komen). Zulke aanpassingen versnellen het trainen meestal, en helpen als het lastig optimaliseert, alleen krijg je er wel extra instellingen bij. Je hebt deze achtergrond gewoon echt nodig als je neurale netwerken goed wilt afstellen of als je foutmeldingen wilt snappen. Meer informatie? Zie de uitleg bij Google Machine Learning Crash Course: Gradient Descent.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.