Chunking strategieen voor rag
Waarom chunking belangrijk is
In een RAG-systeem splits je documenten op in chunks voordat je ze indexeert. De manier waarop je dat doet, heeft direct invloed op hoe goed zoekresultaten zijn én op de antwoorden die je krijgt. Neem je chunks die te groot zijn? Dan staat er van alles in dat er vaak niet toe doet, waardoor je zoekresultaat minder relevant is en het context window sneller vol raakt. Kies je juist te kleine stukken, dan verdwijnt het verband en is informatie moeilijker te begrijpen. De truc zit in het vinden van een goede middenweg: genoeg context vasthouden maar geen ruis toevoegen. Je kunt bijvoorbeeld kiezen voor stukken van een vaste lengte (bijvoorbeeld 512 tokens), opsplitsen per zin, per alinea, of de tekst laten opsplitsen op basis van betekenis (daarvoor gebruik je bijvoorbeeld tekstembeddings om natuurlijke breekpunten te vinden). Het laatste werkt het best voor duidelijke deelonderwerpen, maar kost meer rekenkracht. Sommige systemen bouwen chunks zelfs hiërarchisch op via recursive chunking, en een overlap (dus een randje tekst dat in beide stukken zit) houdt de context beter vast. Welke chunkgrootte handig is, hangt sterk af van het type document, de soort vraag die je stelt en natuurlijk het model dat je gebruikt.
Chunking in de praktijk: waar let je op
Er bestaat geen magische chunkgrootte die altijd werkt. Stel je krijgt een feitelijke vraag: dan werken compacte chunks vaak het beste, omdat je snel bij het antwoord zit. Maar als het om een samenvatting of ‘brede’ vragen gaat, is wat meer tekst meestal juist handiger. Je kunt ook chunks op verschillende maten opslaan: kleine stukken voor precies zoeken, grotere als je meer samenhang zoekt. Extra info als documenttitel, sectie of datum bij elke chunk helpt bij het ordenen en filteren tijdens het zoeken. Het loont om wat overlap tussen chunks te laten, bijvoorbeeld 10 tot 20 procent, zodat je aan de randen van een chunk minder makkelijk de draad kwijtraakt. Sommige systemen zoeken eerst grofweg op sectie, en gaan daarna binnen die sectie preciezer kijken. Je wilt je chunking aanpak blijven testen: kijk niet alleen hoeveel relevante resultaten je terugkrijgt (precision/recall), maar ook hoe betrouwbaar de antwoorden zijn. Houd trouwens rekening met waar het model aan tokens kan verwerken en de vertraging bij het zoeken. Chunking lijkt soms een detail, maar bepaalt echt mee hoeveel je straks uit je RAG-systeem haalt.