Self attention vs cross attention

Verschillen tussen self-attention en cross-attention

Je komt self-attention en cross-attention continu tegen in modellen zoals Transformers. Bij self-attention kijk je naar één rij van elementen, bijvoorbeeld een zin, en zet je elk woord af tegen zichzelf én de andere woorden. Elk element krijgt zijn eigen query, key en value (dat zijn gewoon vektorrepresentaties). De query wordt naast alle keys uit de sequentie gelegd, zichzelf inbegrepen. Zo ziet het model welke woorden (of andere eenheden) voor dat punt het meest relevant zijn, kortbij of juist verderop.

Gebruik je cross-attention, dan gaat het om twee verschillende sequenties. Bijvoorbeeld: in machinevertaling gaat het om een encoder en een decoder. Je pakt de query uit het ene deel (vaak de decoder) en de keys en values uit het andere (de encoder). Op die manier weet het model waar het precies moet kijken in de brontekst, terwijl het een uitdrukking in de doeltaal genereert. Niet alleen taal: bij beeld-taal modellen, zoals bij een model dat tekst aan afbeeldingen koppelt, zoekt cross-attention uit welke stukken tekst en beeld op elkaar aansluiten. Beide mechanismen kom je bijna altijd ergens tegen als je een Transformer opent.

Self-attention en cross-attention in gebruik

Self-attention zie je in de encoderkant van veel bekende modellen, zoals BERT. Het model leert daar de hele context van de invoer, of alle woorden samenhangen. In modellen als GPT werkt self-attention ook in de decoder, meestal met een masker zodat het model alleen links van een bepaald token kijkt (dus nooit naar de toekomst spiekt). Cross-attention werkt anders; die vind je in decoders van sequence-to-sequence modellen zoals T5 en BART. Daar kijkt het model tijdens het genereren bij elk nieuw token steeds terug naar de volledige invoer. In multimodale systemen als DALL-E of CLIP is cross-attention de logische keuze om tekst en beeld te combineren. Het verschil in de kern: self-attention gaat over één stuk tekst (of data), cross-attention over de verbinding tussen twee stukken. Maar je zult vaak beide in één architectuur tegenkomen. Open je een Transformer-decoder, dan zie je meestal zowel masked self-attention (voor het eigen output-pad) als cross-attention (voor de link met de input van de encoder). Dus: self-attention is onmisbaar om context te vangen binnen data, cross-attention zorgt dat verschillende datasoorten met elkaar in gesprek gaan.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.