Wat is het attention mechanism aandachtsmechanisme?
Gericht kijken
Het attention mechanism, of aandachtsmechanisme, is een techniek in neurale netwerken die het model in staat stelt om zich te concentreren op specifieke delen van de invoer. Het is geïnspireerd op hoe mensen visuele informatie verwerken: we richten onze aandacht op relevante delen van een scène en negeren de rest. In een neuraal netwerk berekent attention een gewogen som van de invoer, waarbij de gewichten leren welke delen belangrijk zijn. Formeel krijgt elk invoerelement een query, key en value. De overeenkomst tussen een query en een key bepaalt het gewicht. Deze gewichten worden gebruikt om de values te combineren. Attention is voor het eerst succesvol toegepast in machine translation, waar het model bij het vertalen van een woord zich richt op de relevante woorden in de bronzin. Het loste een probleem op van encoder-decoder RNN's: het samenpersen van een hele zin in één vaste vector. Met attention kan de decoder op elk moment naar verschillende delen van de invoer kijken. Attention is de kern geworden van Transformers, die de state-of-the-art zijn in NLP en steeds vaker in computer vision. Het maakt modellen interpreteerbaarder, omdat de attention-gewichten kunnen worden gevisualiseerd.
Soorten attention
Er bestaan verschillende soorten attention. Bij soft attention worden alle invoerelementen gewogen met een continue gewichtsverdeling. Bij hard attention wordt een subset geselecteerd, wat discrete keuzes vereist en moeilijker te trainen is. Bij self-attention richt een sequentie zich op zichzelf: elk element weegt andere elementen in dezelfde sequentie. Dit is de basis van Transformers. Bij cross-attention richt de ene sequentie zich op een andere, zoals bij encoder-decoder modellen. Multi-head attention gebruikt meerdere attention-koppen parallel, elk met een eigen set queries, keys en values. Dit stelt het model in staat om verschillende soorten relaties te leren. Attention wordt ook gebruikt in computer vision, waar Vision Transformers (ViT) attention toepassen op afbeeldingspatches. Het wordt gebruikt in spraakherkenning, aanbevelingssystemen en zelfs in reinforcement learning. Attention heeft de manier waarop neurale netwerken sequentiële data verwerken fundamenteel veranderd. Het is een van de belangrijkste innovaties in deep learning van de afgelopen decade.