Wat is reinforcement learning versterkingsleren?
Leren door beloning en straf
Bij reinforcement learning (of kortweg RL) draait alles om uitproberen en bijsturen. Je zet een agent neer in een omgeving, een digitaal schaakbord, bijvoorbeeld, of juist een simulatie van een robotarm, en die agent probeert van alles uit. Welke actie volgt op welke toestand? Je krijgt als agent elke keer een beloning of juist geen, en je leert vanzelf welke keuzes op termijn het gunstigst zijn. Hier zijn geen gelabelde voorbeelden nodig, zoals bij supervised learning (dat blijft achterwege). Je tast in het duister, af en toe raak en meestal niet, maar beetje bij beetje ontdek je een bruikbaar beleid voor de situatie. Dit soort leren werkt goed voor toepassingen waar niemand je van tevoren kan vertellen wat het juiste pad is. Denk aan zelfrijdende auto's of gamers die AlphaGo een zet laten bedenken. Het wiskundige raamwerk hierachter heet een Markov Decision Process, met termen als toestand, actie, kans op overgang, beloning en disconteringsfactor (hoeveel waarde hebben toekomstige beloningen nog). Belangrijk: de agent balanceert tussen nieuwe dingen proberen (exploratie) en de beste methode volgen (exploitatie). (Dit heet de exploration-exploitation trade-off.) Je loopt in RL tegen dingen aan zoals de credit assignment problem, dus: welke beslissing leverde die bonus nou eigenlijk op, als hij pas veel later in het spel kwam? Twijfel je over je beloningsfunctie, dan kan de agent totaal onverwacht gedrag laten zien. Je vindt RL terug in AlphaGo, robotarmen, aanbevelingssystemen en bij het trainen van taalmodellen via reinforcement learning from human feedback (RLHF).
Belangrijke concepten en algoritmen
RL kent allerlei aanpakken, elk met eigen voor- en nadelen. Value-based methoden (zoals Q-learning en SARSA) berekenen direct wat een actie of toestand waard is. Policy-based methoden (zoals REINFORCE en PPO) pakken het anders aan: die leren meteen wat het beste beleid is voor beslissingen. Of je combineert alles via actor-critic: een 'actor' kiest de actie, terwijl een 'critic' de actie inschat. Deep RL pakt het groots aan, met neurale netwerken als rekentool, denk aan een DQN die na uren oefenen Atari-spellen speelt beter dan jij ooit zal doen. Er is ook model-based RL: dat probeert eerst een model van de omgeving te leren, en kijkt dan vooruit. Problemen? Zeker, bijvoorbeeld sample-efficiëntie (je hebt vaak ontzettend veel pogingen nodig), stabiliteit van het leerproces en de vraag of je beleid zich naar onbekende situaties uitstrekt. Een opvallende toepassing van de laatste jaren: RLHF, waarbij mensen feedback geven die het model gebruikt om zichzelf te verbeteren, zodat je systemen zoals ChatGPT krijgt. RL blijft bewegen, want er valt nog veel te winnen bij moeilijke keuzes in een keten van gebeurtenissen.