Close-up van een inspecteur die een checklist op een klembord vasthoudt met een pen.

AI-projecten testen: nauwkeurigheid meten vóór automatisering

Een overtuigende AI-demo laat zien wat een systeem kan, maar niet hoe betrouwbaar het werkt met echte variatie, onvolledige informatie en uitzonderingen. Je leest hoe je een representatieve testset samenstelt, uitkomsten beoordeelt en meet wanneer automatiseren verantwoord is.

Waarom een geslaagde AI-demo geen bewijs van betrouwbaarheid is

Je ziet vaak een AI-demo die het voorbeeld perfect uitvoert, maar die paar testgevallen zijn met zorg gekozen. In het dagelijks gebruik krijg je ongelijksoortige, incomplete of onverwachte input waar de demo simpelweg niks over zegt. Dus als er fouten sluipen in documenttypes, spelling, ongebruikelijke productcodes of zelfs rare verzoeken, valt het systeem snel door de mand, vooral als zulke gevallen niet in de demo zaten.

De beoordeling van de demo werkt ook mee aan de schijn. Een interne tester kiest soms voorbeelden waarop het systeem presteert (vaak zonder het zelf te merken). Of een antwoord klinkt gewoon vloeiend, dus wordt dat als 'goed' gezien, terwijl het feitelijk onjuist is. Handtekening? Bijvoorbeeld bij een chatbot: het antwoord lijkt logisch, maar de actie klopt niet. Of een model verzint bedragen die nergens staan. Goede bewoordingen, slechte inhoud.

Maak de testomstandigheden realistisch

Behandel een demo dus als een kans om te verkennen of iets überhaupt haalbaar is. Voor betrouwbaarheid heb je onafhankelijke, échte testgevallen nodig. Zorg dat voorbeelden uit de praktijk komen en leg ze vast vóórdat je aan het testen slaat. Noteer steeds: welke versie van het model, prompt, bron en integraties zijn gebruikt? Zonder die informatie weet straks niemand echt waarom scores hoog of laag uitvielen.

Een representatieve testset maken uit echte gebruikersgevallen

Voor een betrouwbare test pak je echte gebruikersdata als basis. Dus niet alleen standaardvragen, maar ook gevallen uit oude tickets, productomschrijvingen, documenten en zoeklogs, liefst verspreid over verschillende platforms en periodes. Denk eraan gevoelige gegevens netjes weg te halen en let op security van de testdata. Exclusief de meest voorkomende gevallen wekt een vals gevoel van veiligheid; juist de unieke of afwijkende scenario’s zorgen voor verrassingen in productie.

Een handige methode: sorteer je voorbeelden op hoofdcategorie. Eenvoudige taken, gevallen met ontbrekende data, afwijkende manier van formuleren, of opdrachten die buiten scope vallen. Daarna neem je uit elke groep testgevallen op. Die verdeling hoeft niet identiek te zijn aan wat je in productie ziet. Het is zinvol om meer uitzonderingen toe te voegen zodat je kwetsbaarheden meteen boven tafel krijgt. Noteer vervolgens wel: welke groepen zijn oververtegenwoordigd? Zo raak je later niet in de war over de verwachte nauwkeurigheid.

Voorkom dat testdata het antwoord verklapt

Neem geen voorbeelden op waarmee het model al tijdens ontwikkeling is getraind, bijvoorbeeld via prompt-finetuning of het aanpassen van logica. Leg dus een afgesloten set apart die je pas gebruikt bij de eindtest. Documenteer van elk voorbeeld de herkomst, de gebruikte categorie en de reden van selectie, dat maakt de score transparant en herbruikbaar als je straks opnieuw wilt meten.

Betrouwbare referentieantwoorden vastleggen vóór het testen

Je kunt een AI-uitkomst pas beoordelen als vastligt wat je als 'goed', 'bruikbaar' of 'veilig' aanmerkt in een bepaalde situatie. De verwijsbron daarvoor heet meestal ground truth of beoordelingsset. Bij classificatie geef je per voorbeeld een afgeroepen label. Stel: het gaat om een klantvraag, dan kun je meerdere correcte antwoorden toestaan, maar de kerninformatie moet kloppen. Bedenk dus vooraf wat exact moet zijn en op welke punten variatie mag optreden.

Het liefst laat je een referentie vaststellen door iemand die het echte proces met de hand kent. Laat niet één iemand alles doen, want vergissingen en eigen aannames sluipen er zo in. Dus een deel van de voorbeelden leg je ook aan een tweede beoordelaar voor, die onafhankelijk een oordeel velt. Komt er verschil van inzicht, bespreek het samen en noteer de doorslaggevende richtlijn. Als er vaak discussie ontstaat, dan wijst dat er meestal op dat de taak zelf te vaag is gedefinieerd.

Leg onzekerheid en toegestane variatie vast

Sommige gevallen hebben niet één eerlijk antwoord. Geef dat dan aan: bron onduidelijk, ruimte voor interpretatie, of verschil tussen experts. Zulke outliers kun je los analyseren of buiten de strikte scoring houden. In plaats daarvan kun je meerdere goede antwoorden opslaan voor die gevallen. Belangrijk: dit regel je op voorhand, niet achteraf als je AI onverwacht uit de bocht vliegt. Bewaar de originele input én noteer je beweegreden. Dat helpt bij toekomstige controles wanneer eisen, producten of processen wijzigen.

De juiste kwaliteitsmetingen kiezen voor de AI-taak

Er is geen enkele universele score die alles zegt over AI-kwaliteit. Kijk uit bij simpele accuracy: als één label in je data veel vaker voorkomt, geeft die score een te rooskleurig beeld. Denk eens aan e-mailclassificatie: als 95 procent geen klacht is, en het systeem zegt standaard dat elke mail 'geen klacht' is, krijg je een hoge score en toch geen bruikbaar resultaat. Gebruik daarom precision en recall, uitgesplitst per label. Precision vertelt je hoeveel voorspellingen kloppen; recall laat zien welk aandeel van de echte voorbeelden gevonden wordt.

Gaat het om AI-antwoorden in tekst, dan is gewone tekstvergelijking niet zo nuttig: juiste antwoorden hebben vaak net een andere formulering. Beoordeel dus per onderdeel: feitelijke juistheid, volledigheid, relevantie, bronvermelding en of het antwoord begrijpelijk is. Werk je met documentextractie? Leg je scores dan per veld vast, je wilt niet dat een zwak veld wordt weggemoffeld in een gemiddeld cijfer. Geef dus altijd uitsplitsingen per veld, fouttype of categorie, naast een totaalscore.

Meet ook het gevolg van fouten

Niet elke fout heeft hetzelfde gewicht. Een stijlkwaal in een producttekst is iets anders dan een verkeerd overgenomen rekeningnummer of een toezegging waar de klant recht op denkt te hebben. Meet daarom wat een misser betekent: hoeveel extra controlerondes, hoeveel handmatige aanpassingen, hoeveel werk kan veilig geautomatiseerd worden, enzovoort. Je scores zeggen zo niet alleen iets over het model, maar vooral over het effect op gebruiker, medewerker en bedrijfsvoering.

Fouten en uitzonderingen systematisch classificeren

Als je alleen naar het eindcijfer kijkt, weet je nooit waardoor het AI-systeem steken laat vallen. Werk daarom vooraf een indeling uit: welke soorten fouten verwacht je eigenlijk? Voor een AI-agent heb je bijvoorbeeld: verkeerde intentie, fout antwoord, ontbrekende bron, onjuiste toolkeuze, foute handeling, weggefilterde uitbijter. Bij documentmodellen: gemist veld, foute waarde, foute match, misinterpretatie van bijvoorbeeld een handgeschreven notitie.

Geef elke fout een label voor oorzaak en ernst. Komt het door de brondata, de prompt, de koppeling of het model? Met zo’n indeling voorkom je dat je telkens aan de prompt blijft sleutelen. Stel, er ontbreekt een bedrag in een slecht gescand document: zoiets los je niet op met een andere prompt, maar vergt waarschijnlijk een interventie met menselijk toezicht. Noteer daarnaast of een fout iedere keer terug te roepen is, en welke inputfactoren mogelijk een rol speelden.

Test expliciet wat het systeem moet weigeren

Test niet alleen op goede en slechte antwoorden, maar ook op gevallen waar AI niet zelfstandig mag besluiten. Ontbrekende data, tegenstrijdige bronnen, ongewone verzoeken of randgevallen? Stop ze in de test en kijk of het systeem netjes stopt, doorverwijst of een vraag stelt. Een afwijzing is soms precies het juiste. Gewoon door-antwoorden levert misschien mooie scores, maar zegt niks over verantwoordelijk gedrag.

De volledige workflow testen, niet alleen het modelantwoord

Een AI-model kan op woordniveau kloppen, maar door de automatische workflow alsnog een fout veroorzaken. Elk onderdeel telt: van invoer tot verwerking, koppelingen, validatieregels en terugkoppeling. Zie je een AI-agent die de juiste samenvatting maakt, maar het verkeerde klantdossier aanpast? Of een bedrag dat goed uit een factuur wordt gehaald, maar vervolgens in het verkeerde systeemveld belandt? Zulke missers merk je niet op met alleen losse modeltests.

Daarom: trek uitgebreide end-to-end-tests op met dezelfde gegevens- en systeemstappen als in productie. Kijk niet alleen naar het eindsignaal, inspecteer ook alle tussenstappen: welke bron is gebruikt, welke tool ingezet, welke aanpassingen zijn daadwerkelijk gemaakt, wat is juist niet opgepakt? Probeer storingen uit: dubbele berichten, time-outs, missende output, een koppeling die uitvalt. Het hele proces moet veilig blijven werken, ook bij verstoringen onderweg. Zo voorkom je dat een halve storing leidt tot een dubbele of onomkeerbare actie.

Houd menselijke controle zichtbaar in de test

Moet er iemand tussentijds meekijken, test dat dan ook. Is het voor een medewerker direct duidelijk wat te controleren valt, en is broninformatie makkelijk op te vragen? Kan een fout simpel hersteld worden, en voorkomt het systeem dat diezelfde fout direct terugkomt? De uiteindelijke workflow-kwaliteit hangt net zo goed af van je menselijke proces als van de techniek. Dus: meet altijd het hele traject, inclusief controles en correctietijd. Alleen op tekst scoren zegt niet genoeg.

Acceptatiegrenzen bepalen op basis van risico en foutkosten

Een hoge testscore betekent niet dat je AI-toepassing meteen verantwoord kan draaien. Spreek vooraf per taak en type fout af bij welke score de boel acceptabel is. Voor snelle interne samenvattingen kun je ruimhartiger zijn dan voor het aanpassen van klantdata of transacties. Kijk niet alleen naar het gemiddelde cijfer: sommige fouten zijn zo risicovol, dat er geen ruimte is voor 'een beetje mis'. Eén foute uitkering of gevoelige datalek telt zwaarder dan honderd vlotte succesjes.

Waar je de grens legt, hangt samen met de kosten van fouten: wat gebeurt er als de AI te weinig alarmeert (fout-negatief) of juist te vaak (fout-positief)? Denk aan fraudesignaaldetectie: een gemist signaal is duur, maar elke valse melding vraagt handwerk van mensen. In de klantenservice kan een fout antwoord imago-schade geven, terwijl doorsluizen naar een medewerker vooral tijd kost. Maak die grensafweging samen met proceseigenaren en gebruikers, en sta desnoods verschillende drempels per categorie toe. Eén knop voor alle gevallen werkt zelden goed.

Koppel scores aan een passende mate van automatisering

Je hoeft niet alles automatisch of alles handmatig te doen. Bij hoge zekerheid kun je taken direct uitvoeren, bij twijfel eerst een voorstel tonen, bij onzekerheid aan een medewerker geven. Test of deze stappen voldoende betrouwbaar werken en of de werkdruk goed verdeeld blijft. Rapporteer niet alleen hoeveel er automatisch gaat, maar put ook uit de foutkans binnen die flow. Puur zoveel mogelijk automatiseren is zinloos als je achteraf veel breekwerk hebt.

Prestaties na ingebruikname blijven controleren op veranderingen

Een test bestaat uit een momentopname; echte werkomgevingen blijven in beweging. Nieuwe producten, gewijzigde klantvragen, andere beleidregels, veranderde documenten, aangepaste integraties, het kan allemaal klappen geven aan de AI-kwaliteit. Zelfs als interface en taken gelijk blijven, kan een update in het model, prompt, bron of een tool invloed hebben op het gedrag.

Zet daarom een nulmeting vast voor je live gaat en blijf relevante signalen volgen. Denk aan correcties, meldingen die doorgestuurd worden, onbekende toolcalls, extreem veel lege antwoorden, klachten, of grote verschillen tussen voorspeld en echt eindresultaat. Splits deze uit per taak, kanaal of type input, want één deelgebied kan ongemerkt achterblijven. Check ook trends in de invoer: komen er nieuwe termen of mogen onbekende veldnamen vaker voor?

Gebruik productiegevallen om tests gericht te vernieuwen

Bewaarde je gemiste en onvoorziene gevallen (volgens de privacyregels)? Zorg dan dat deze worden beoordeeld en daarna gecontroleerd aan de regressietest worden toegevoegd. Ontdek zo of een update bestaande prestaties schaadt. Houd daarnaast altijd een schone, onaangeroerde set voor evaluatie apart. Zo voorkom je dat de score steeds kunstmatig hoger uitvalt, doordat de testset afgestemd raakt op oudere fouten. Herhaal een grondige test als bron, beleid, prompts, modellen of acties wezenlijk veranderen. En noteer steeds welke samenstelling of versie is gebruikt: alleen dan weet je waar verbetering of verslechtering precies vandaan komt.

Veelgestelde vragen

Hoeveel testgevallen heb je nodig om een AI-project betrouwbaar te beoordelen?

Het benodigde aantal testgevallen verschilt per project. Je kijkt naar de afwisseling in de input, hoeveel fouten je wilt kunnen opsporen en wat de impact van een fout is. Beginnen met enkele tientallen kan nuttig zijn als verkenning, maar dan zie je geen patronen bij zeldzame problemen of weet je niks over verschillen tussen groepen.

  • Gebruik een rekentool of schatting om de gewenste statistische betrouwbaarheid en foutmarge om te zetten naar een minimale omvang.
  • Zorg dat risicovolle en ongewone categorieën voldoende vaak voorkomen; anders kun je alsnog niet zien of je systeem veilig is.
  • Geef bij scores aan wat de onzekerheidsmarge is, en verzamel meer voorbeelden als scores erg schommelen tussen runs.

Hoe vergelijk je twee AI-modellen eerlijk met elkaar?

Eerlijk vergelijken? Je moet beide AI-modellen naast elkaar zetten met precies dezelfde, onafhankelijke testset. Zelfde input, zelfde taakomschrijving, gebruikte koppelingen en scoreregels. Als daar iets niet gelijk loopt, zegt de vergelijking niet veel.

  • Leg modelversie, instellingen en prompt voor beide modellen vast, en wissel die niet halverwege de test.
  • Laat testbeoordelaars onverwittigd beoordelen welk model het antwoord gaf, zodat voorkeuren geen rol spelen.
  • Bekijk naast kwaliteit ook zaken als verbruikskosten, snelheid, hoeveel menselijk werk erover blijft, en prestaties bij risicovolle scenario's.
  • Herhaal je meting op een flinke set voor een robuuste inschatting, kleine verschillen kunnen toeval zijn.

Wanneer kun je synthetische data gebruiken om een AI te testen?

Synthetische data kun je inzetten om specifieke scenario's toe te voegen, maar niet als enige basis om prestaties mee te beoordelen. Slim bedachte voorbeelden missen vaak het grillige karakter van echte input en kunnen daardoor te eenduidig of simpel zijn.

  • Gebruik kunstmatig gemaakte data als je wilt weten hoe een model omgaat met uitzonderingen of juist lastige grensgevallen.
  • Laat altijd experts checken of deze voorbeelden kloppen met de echte context.
  • Houd synthetische data apart in de resultaten, zodat scores niet door elkaar lopen.
  • Sluit altijd een set echte inputgevallen in; daarop baseer je de uiteindelijke conclusies.

Hoe test je een AI-model van een leverancier dat regelmatig wordt bijgewerkt?

Test een nieuwe versie altijd voordat die in productie gaat, want een update kan gedrag en fouten verschuiven. Vraag vooraf waar de update draait om en draai hem in een aparte testomgeving voordat kritische processen er de dupe van zijn.

  • Zorg dat je een vaste regressietest bewaart met zowel gebruikelijke als risicovolle en moeilijke gevallen.
  • Leg prestaties naast elkaar: zelfde input, scoreregels en criteria.
  • Stel vast wanneer een verandering goedkeuring nodig heeft voordat je live gaat.
  • Regel dat je terugkunt naar de oude versie als er onverwacht iets flink misloopt.

Wanneer is een AI-project klaar voor een pilot met echte gebruikers?

Klaar voor een pilot ben je als de grote risico’s getest zijn, je resultaten voldoen aan wat je hebt afgesproken en je weet hoe mensen fouten moeten signaleren en oplossen. In een pilot draait het niet om direct automatiseren, maar om gecontroleerd leren wat in de echte wereld gebeurt.

  • Start met kleine, overzichtelijke groepen, taken of een beperkte tijdsduur.
  • Houd controle op risicovolle acties; laat gevoelige stappen door een mens goedkeuren.
  • Spreek af bij welke signalen je de pilot pauzeert, zoals onverwacht veel fouten of ernstige missers.
  • Evalueer uitgebreid voor je opschaalt of meer automatiseert.

Foto: RDNE Stock project

Verder lezen

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.