Wat is de encoder decoder structuur?

Comprimeren en genereren

Je komt de encoder-decoder structuur vaak tegen bij neurale netwerken voor taken als machinevertaling, tekstsamenvatting of beeldbeschrijving. De encoder verwerkt jouw invoer, maakt daar een interne representatie van (een contextvector, of een serie verborgen toestanden). Daarna komt de decoder aan bod, die de uitvoersequentie stap voor stap genereert. Sommige oudere modellen, zoals RNN encoder-decoders, stopten alles samen in zo’n vaste contextvector. Maar dat gaat mis bij lange stukken tekst: je mist dan details. Daarom zie je nu attention mechanismen bij de decoder. Die kunnen op elk moment terugkijken naar specifieke delen van de encoder-output. Bij transformers bestaat de encoder uit gestapelde lagen van self-attention en feedforward blokken (beetje technisch, maar in vaktaal self-attention en feedforward neural netwerken). De decoder pakt naast self-attention ook cross-attention richting de encoder mee. Systemen als T5, BART en de originele Transformer gebruiken allemaal deze vorm. Je kunt het inzetten op verschillende soorten data: tekst, beeld, spraak, of zelfs combinaties. Zo’n structuur geeft een model meer mogelijkheden om ingewikkelde relaties tussen twee soorten sequentiële data te leren.

Toepassingen en uitdagingen

Je vindt encoder-decoder modellen vooral terug bij machinevertaling. De encoder slikt de zin in de brontaal in, de decoder spuugt ‘m uit in de doeltaal. Of neem tekstsamenvatting: de encoder leest het hele document, de decoder haalt er in duidelijke bewoordingen de kern uit. Een beeldbeschrijvingsmodel? De encoder (meestal een CNN) werkt op een plaatje, de decoder (vaak een RNN of Transformer) schrijft bijpassende tekst. Spraakherkenning draait ook op een encoder-decoder structuur: eerst de audio encoderen, dan de tekst uitspugen. Je loopt bij dit soort modellen soms aan tegen problemen met hele lange invoer, dubbele fragmenten in de uitvoer, of onsamenhangende resultaten. Met beam search, temperature sampling of top-k sampling kun je de kwaliteit hiervan opkrikken (die termen kom je veel tegen in frameworks). Dit architectuuridee zit trouwens niet alleen in genereren van tekst, beeld of spraak; sequence-to-sequence modellen voor reinforcement learning of codegeneratie hangen er ook vaak aan vast. Veelzijdig dus. Sinds grote taalmodellen populair zijn, zie je vaker decoder-only netwerken, maar voor taken waar je de hele invoer in één keer kent voordat je moet genereren, blijft encoder-decoder voorlopig onmisbaar.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.