Wat is een activatiefunctie relu sigmoid softmax?
Waarom niet-lineariteit nodig is
Zonder activatiefunctie? Dan blijft je netwerk, hoeveel lagen je er ook tussen prikt, altijd een simpele lineaire omzetting. Geen grapje. Niet-lineariteit geeft het model de mogelijkheid om kromme of grillige grenzen te trekken, zoals nodig is bij lastige classificatie. Je activeert de activatiefunctie altijd na het optellen van de inputgewichten en de bias. En elke functie heeft zo z’n eigen voor- en nadelen: sommige verzadigen sneller, andere vragen meer van je hardware, en let op de afleidbaarheid voor backprop. De uitkomst? De trainingsduur en stabiliteit schommelen afhankelijk van je keus. Wat je in de outputlaag gebruikt, dat moet passen bij je probleem: sigmoid als iets ja of nee moet, softmax als je meerdere klassen onderscheidt, en gewoon lineair bij regressie.
Veelgebruikte activatiefuncties
Pak je sigmoid, dan krijg je altijd een uitkomst tussen 0 en 1. Prima bij binaire taak, alleen let op want de gradiënten worden heel snel heel klein bij grote in- of uitkomsten, en zo verloopt je training traag. Tanh draait het bereik naar min 1 tot 1 en maakt het eenvoudiger voor het model om te focussen omdat nul in het midden ligt. ReLU heet voluit Rectified Linear Unit. Die gebruik je meestal in de verborgen lagen, want hij is snel, simpel en blijft werken zolang inputs positief blijven. Maar als je input steeds negatief is, kan een neuron stil vallen: hij doet daarna niks meer. Daarvoor bestaan verbeteringen, bijvoorbeeld Leaky ReLU of GELU of ELU. Softmax vind je terug in multiclass-toepassingen. Die pakt een rij getallen en tovert die om tot een kansverdeling. Kortom, welke activatiefunctie je kiest bepaalt sterk wat je netwerk straks echt kan.