Hoe verwerkt een llm context context window?
Hoe zo'n context window werkt
Met dat context window bepaalt het model hoeveel tekst het tegelijk aankijkt. Alles draait hierbij om tokens. Geen woorden, geen karakters. Een token lijkt soms op een klein stukje van een woord; in het Engels zijn dat er ongeveer anderhalf voor elk woord, maar dit maakt nog wel uit per taal en welke tokenizer je gebruikt. Zowel je prompt als de gegenereerde tekst tellen allebei mee binnen dat window. Dus als je input en output samen te veel zijn, zit je over je limiet en moet je gaan knippen of samenvatten. Doe je dat niet? Dan krijgt het model gewoon de rest niet meer te zien. Tijdens het genereren let het model, met self-attention, op verbanden tussen alle tokens die het nu mag verwerken. Die attention-matrix? Die groeit heel snel: dubbel zoveel tokens vraagt vier keer zoveel geheugen en rekenkracht (niet ideaal als je veel data wilt laten analyseren). Dit blijft een strikte beperking voor alle modellen tot nu toe. Nieuwere LLM’s bieden flinke context windows, soms 8.000, vaak 128.000 tokens, en er zijn er die zelfs richting het miljoen gaan. Daarmee kun je ineens een compleet boek of een forse codebase doorlopen. Maar het model onthoudt niet alles even goed als je de context steeds langer maakt; het is bekend dat belangrijke info halverwege juist uit beeld verdwijnt (“lost in the middle”).
Problemen en wat eraan wordt gedaan
Het echt goed gebruiken van zo’n groot context window is nog flink puzzelen voor onderzoekers. Je loopt namelijk al snel tegen het punt dat die self-attention te veel geheugen en rekenkracht opslokt, omdat het met elk extra token steeds erger wordt. Er zijn wat methodes ontwikkeld (zoals sparse attention, sliding window attention en FlashAttention) die het allemaal wat draaglijker moeten maken. En hoewel je dan meer tekst kwijt kunt, zijn modellen niet automatisch beter in het koppelen van info die ver uit elkaar staat. Zo kan relevante informatie zomaar genegeerd worden, of het model richt zich ineens alleen op het begin of einde van je tekst. Dus zijn er trucs bedacht, zoals retrieval-augmented generation (RAG): je laat dan vooraf relevante stukken tekst selecteren, zodat alleen de belangrijke brokken in het window belanden. Ook compressie en samenvatten helpen. Sommige modellen pakken weer speciale positionele encoderingen aan, bijvoorbeeld RoPE (Rotary Position Embedding), zodat ze beter omgaan met langere teksten en minder snel fouten maken met volgorde. Waarom is dit technisch gedoe belangrijk? Omdat het bepaalt of je een chatbot, document-analyse of code-assistent redelijk kunt inzetten zonder tegen limieten of hoge kosten aan te lopen.