Wat is hallucinatie bij llms en hoe ontstaat het?
Oorzaken van hallucinatie
Hallucinatie ontstaat doordat LLM's geen echt begrip van de wereld hebben. Ze zijn getraind om het volgende token te voorspellen op basis van statistische patronen in tekst. Als een vraag niet goed aansluit bij de trainingsdata of als er geen eenduidig antwoord is, kan het model toch een antwoord genereren dat waarschijnlijk klinkt maar feitelijk onjuist is. Dit kan gebeuren bij vragen over recente gebeurtenissen, gespecialiseerde kennis of fictieve scenario's. Een andere oorzaak is dat modellen soms de neiging hebben om door te gaan in een bepaalde stijl of rol, zelfs als ze geen betrouwbare informatie hebben. Ze kunnen dan bronnen verzinnen, citaten fabriceren of feiten door elkaar halen. Ook een hoge temperature of een gebrek aan context kan hallucinatie versterken. Het is belangrijk op te merken dat hallucinatie niet altijd hetzelfde is als liegen: het model heeft geen intentie om te misleiden, het genereert gewoon de meest waarschijnlijke voortzetting van de tekst. Toch kan het in de praktijk schadelijke gevolgen hebben, vooral in medische, juridische of financiële contexten.
Mitigatie en detectie
Het verminderen van hallucinaties is een actief onderzoeksgebied. Een veelgebruikte techniek is retrieval-augmented generation (RAG), waarbij het model relevante documenten ophaalt en deze als context gebruikt. Hierdoor kan het model feitelijke informatie baseren op echte bronnen in plaats van op parametrische kennis. Een andere aanpak is het gebruik van een lage temperatuur en strikte sampling-parameters, wat de output deterministischer maakt. Ook kunnen modellen worden getraind met reinforcement learning from human feedback (RLHF) om hallucinaties te bestraffen. Daarnaast zijn er technieken zoals self-consistency, waarbij meerdere antwoorden worden gegenereerd en vergeleken, en fact-checking met externe tools. Voor gebruikers is het belangrijk om kritisch te blijven: verifieer feiten, vooral bij belangrijke beslissingen. Sommige systemen voegen bronvermeldingen toe of geven een betrouwbaarheidsscore. Het volledig elimineren van hallucinaties is vooralsnog niet mogelijk, omdat het inherent is aan de manier waarop LLM's werken. Bewustwording en het combineren van meerdere technieken blijven daarom essentieel.