Imitation learning in robotica
Hoe robots afkijken van mensen
Imitation learning, ook bekend als learning from demonstration (LfD), draait erom dat een robot leert door het gedrag van een mens te bekijken en te kopiëren. Dus je hoeft de taak niet stap voor stap te programmeren en de robot leert ook niet alles door gewoon veel te proberen. Jij of een operator doet de taak voor, bijvoorbeeld iets oppakken of sorteren, en de robot probeert op basis van die voorbeelden een goed beleid te leren. Daar zijn twee hoofdsmaken van. Bij behavior cloning (dat hoort bij supervised learning) leert de robot direct de koppeling van een waargenomen toestand naar een actie, zonder veel eigen begrip van het doel. Handig, maar als de robot net buiten het voorbeeldmateriaal komt, kan één foutje uitgroeien tot een hele lading problemen (compounding errors). Met inverse reinforcement learning doet de robot juist moeite om uit de demonstraties af te leiden welke beloningsfunctie menselijk gedrag blijkbaar volgt. Zo’n aanpak is taaier maar krachtiger: de robot optimaliseert zijn beleid voor dat doel. Deze methoden zijn erg welkom bij taken die te ingewikkeld of te veranderlijk zijn om vast te programmeren, zoals kwetsbare dingen vastpakken, huishoudwerk zoals afwassen of was ophangen, en het manipuleren van spullen die buigen of glijden. Je vindt deze aanpak dan ook terug waar flexibiliteit of snel bijleren vereist is.
Typische hobbels en trucs
Je loopt bij imitation learning tegen wat standaardproblemen aan. Mensen maken soms slordige of ronduit foute demonstraties, en wat jij doet, doet de robot straks ook. Verder: zo’n demonstratie raakt meestal een smal stukje van de mogelijkheden. Krijgt de robot later een nieuwe situatie voor de kiezen, dan heeft hij daar niets over geleerd. Dit heet distributional shift. Je kunt dat deels opvangen met aanpakken zoals DAgger (Dataset Aggregation). Hierbij gaat de robot zelf proberen terwijl een mens hem direct corrigeert, waardoor het systeem steeds meer echte toestanden leert kennen. Ook komt er variatie in het spel: mensen doen een taak nooit identiek. Als je wilt dat de robot leert met die diversiteit om te gaan, dan werkt data-augmentatie behoorlijk, net als domain randomization en gebruik maken van meerdere demonstraties. De robot leert trouwens sneller als je hem niet alleen bewegingen maar ook bijvoorbeeld krachtmetingen of camerabeelden geeft (multimodale demonstraties). Vaak combineren onderzoekers imitation learning met reinforcement learning: eerst leert de robot het begin via demonstraties en daarna leert hij bij door zelf te proberen, dat noemen ze imitation-augmented RL. De technieken veranderen snel, er komt steeds wat bij.
Waar je het nu al tegenkomt en wat eraan komt
Imitation learning vind je al terug bij industriële robots die door mensen nieuwe assemblagetaken leren, operatierobots die bewegingen van chirurgen afkijken, robots voor huishoudwerk zoals tafeldekken of spullen opruimen, landbouwrobots die voorzichtig fruit oogsten, en zelfs in de ruimte, bijvoorbeeld bij robots die astronauttaken overnemen. De toekomst speelt zich deels af op het snijvlak met grote taalmodellen en multimodale AI. Je kunt straks een robot iets leren via een instructievideo met gesproken toelichting. Onderzoekers focussen ook op one-shot imitation learning: laat de robot een nieuwe taak zien, één keer, en hij probeert het na. Hiervoor heb je meta-learning nodig, want de robot moet razendsnel generaliseren. Nog iets: robots gaan eraan werken om niet alleen acties maar ook menselijke voorkeuren en bedoelingen in te schatten. In robots die veilig tussen mensen werken komt zo'n aanpak goed van pas, want leren van een mens blijft voor veel nieuwe situaties het snelst en het duidelijkst.