Wat is een agent omgeving actie en beloning?

Uit elkaar gehaald: wat agent, omgeving, actie en beloning doen

Neem je reinforcement learning, dan heb je het altijd over vier pijlers: agent, omgeving, actie, beloning. Jouw agent? Dat is wie de beslissingen neemt, het systeem dat leert door proberen. Alles waarin dit gebeurt, noem je de omgeving. Op elk moment kijkt de agent naar de toestand van die omgeving en kiest een actie (misschien linksom, misschien stoppen, dat hangt af). En dan? Dan schiet de omgeving in een nieuwe toestand en gooit een beloning terug. Zo'n beloning is gewoon een cijfer, positief of negatief, bedoeld om te laten weten of die actie de juiste was. Je agent probeert al doende uiteindelijk een beleid te vormen dat zoveel mogelijk punten binnenhaalt. Soms gebeurt dit in afgegrensde rondes, soms zonder pauze doorlopend. De agent is steeds in de weer met de vraag: risico nemen voor misschien meer, of vasthouden aan wat al werkt (de bekende trade-off exploratie versus exploitatie). Overigens: omgevingen verschillen nogal. Sommige zijn altijd hetzelfde bij dezelfde actie, andere zijn grillig of onvoorspelbaar, en soms krijgt de agent niet het hele plaatje te zien. Dat laatste maakt het probleem flink lastiger, want nu moet de agent gokken wat hij niet weet (denk aan slecht zicht op een schaakbord). Beloningen komen trouwens niet altijd direct. Het kan zijn dat de agent pas veel later hoort of een actie goed was, en dan is het uitzoeken waar het misging extra lastig. In RL-termen noem je dat het credit assignment problem. Het complete samenspel tussen agent en omgeving kun je strak beschrijven met een Markov Decision Process (MDP).

Hoe ziet dat eruit? Concrete voorbeelden en wat formules

Stel, een robot rijdt rond in een kamer. Hier is de agent de robot, de omgeving is de kamer zelf, acties zijn bepaald door bewegen (vooruit, draaien, enzovoort) en beloning krijg je bijvoorbeeld bij de uitgang vinden of juist een botsing maken. Een andere bekende: een computer die Atari-spellen speelt. Daar ziet de agent enkel pixeldata, kiest een joystick-beweging, en score bepaalt de beloning. In de handel werkt het net zo: de agent doet transacties op de beurs (de omgeving), winst of verlies bepaalt de beloning. Formeel schrijf je zo'n RL-probleem op als een rij van vijf: (S, A, P, R, γ). S is de verzameling toestanden waar je in kunt zitten. A is de verzameling acties. P beschrijft de kans dat je van de ene naar de andere toestand gaat als je een actie neemt. R is een functie die vastlegt welke beloning je dan ontvangt. γ (de disconteringsfactor) bepaalt hoeveel je geeft om toekomstige beloningen. Zet γ bijna gelijk aan nul, dan wil je direct resultaat; dichter bij één en je kijkt verder vooruit. Waar het de agent om draait? Een beleid leren (π), dat in elke toestand een actie kiest en zo het verwachte totaal aan, noem het, verdiende punten (de return) opkrikt. Return tel je door alle toekomstige beloningen op, telkens iets minder waard naarmate ze verder weg liggen. Kent de agent de omgeving niet, dan blijft het bij proberen, leren, aanpassen. Dat is precies de kern van reinforcement learning.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.