Performance monitoring latency throughput error rate
Belangrijke metrieken
Naast modelkwaliteit (zoals accuracy of F1-score) is de operationele performance van een AI-systeem cruciaal. Latency is de tijd die nodig is om een voorspelling te doen, gemeten in milliseconden. Voor realtime toepassingen zoals chatbots of fraudedetectie is lage latentie essentieel. Throughput is het aantal voorspellingen per seconde dat een systeem kan verwerken. Error rate is het percentage requests dat faalt, bijvoorbeeld door timeouts of serverfouten. Deze metrieken worden continu gemonitord met tools zoals Prometheus en Grafana. Regressies in latentie of doorvoer kunnen wijzen op problemen in de infrastructuur, netwerk of model zelf. Het is belangrijk om baselines vast te leggen en afwijkingen te detecteren [citation:8].
Monitoring in de praktijk
Voor LLM's zijn specifieke metrieken belangrijk, zoals Time to First Token (TTFT) en tokens per seconde. TTFT meet hoe lang het duurt voordat het eerste token wordt gegenereerd, wat de perceptie van snelheid sterk beïnvloedt. Tools zoals llmprobe kunnen LLM-endpoints monitoren en waarschuwen bij degradatie [citation:8]. Performance monitoring moet worden geïntegreerd in de CI/CD-pipeline: voordat een nieuw model wordt gedeployed, moet worden gecontroleerd of het voldoet aan de performance-eisen. Ook in productie moeten alerting en dashboards beschikbaar zijn om snel te kunnen reageren op problemen.