One shot few shot learning
Leren met weinig voorbeelden
One-shot learning is het vermogen om een nieuwe klasse te herkennen op basis van slechts één voorbeeld. Few-shot learning breidt dit uit naar een handvol voorbeelden, meestal tussen de twee en twintig. Deze vorm van leren is geïnspireerd op hoe mensen leren: wij kunnen een nieuw object herkennen nadat we het één keer hebben gezien. Traditionele machine learning-algoritmen hebben echter vaak honderden of duizenden voorbeelden nodig. One-shot en few-shot learning lossen dit op door gebruik te maken van meta-learning, ook wel 'leren te leren' genoemd. Een meta-model wordt getraind op vele verschillende taken, elk met weinig voorbeelden, zodat het leert hoe het snel nieuwe taken kan aanleren. Een bekend algoritme is MAML (Model-Agnostic Meta-Learning), dat een initialisatie leert die met weinig updates kan worden aangepast aan een nieuwe taak. Een andere aanpak is matching networks, dat een nieuw voorbeeld vergelijkt met de voorbeelden in de support set. In de taalverwerking is few-shot learning populair geworden met modellen zoals GPT-3, die een taak kunnen uitvoeren op basis van een paar voorbeelden in de prompt (in-context learning). Dit vereist geen gewichtsaanpassing.
Praktische toepassingen
One-shot en few-shot learning zijn bijzonder waardevol in domeinen waar data schaars of duur is. In de geneeskunde kunnen zeldzame ziektes worden herkend op basis van een paar voorbeelden. In de robotica kan een robot een nieuw object leren herkennen na één demonstratie. In de e-commerce kan een model een nieuw product classificeren op basis van een enkele afbeelding. In NLP wordt few-shot learning gebruikt voor taken zoals het vertalen van zeldzame talen, het classificeren van intenties in chatbots en het extraheren van informatie uit documenten. De uitdagingen zijn divers. Het model kan overfitting vertonen op de weinige voorbeelden. De keuze van de voorbeelden is cruciaal: een slecht gekozen voorbeeld kan het resultaat sterk beïnvloeden. Ook is de evaluatie lastig, omdat de prestaties sterk variëren per taak en per set voorbeelden. Few-shot learning wordt vaak gecombineerd met transfer learning: een vooraf getraind model wordt gebruikt als basis, en enkele voorbeelden sturen de voorspelling. Dit is de kracht van moderne foundation models. Ze kunnen met een paar voorbeelden indrukwekkende resultaten behalen, zonder dat er een apart trainingsproces nodig is.