Wat is de latency van een ai model?

Welke dingen beïnvloeden de latency

Je latency wordt bepaald door een paar factoren. De grootte van je model doet er veel toe: een klein spamfilter reageert vlotter dan een taalmodel met miljarden parameters (zoals GPT-4). Ook de architectuur en de chips onder de motorkap maken uit. GPU’s of TPU’s pakken dingen meestal sneller op dan een CPU, maar daar betaal je een hogere prijs voor. Batching? Daarmee kun je meer tegelijk verwerken, alleen voor de individuele gebruiker vertraagt het soms. En werk je met een server ergens in de cloud? Dan heb je ook nog netwerkvertraging. In toepassingen die direct moeten reageren, denk aan een chirurgische robot of iets voor autosystemen, wordt latency echt doorslaggevend. Je meet latency per aanvraag; doorvoer betekent juist hoeveel aanvragen per seconde het systeem aankan. Beide wil je meestal weten als je iets bouwt. Optimaliseren van latency blijft altijd een belangrijk aandachtspunt in AI-engineering.

Latency, doorvoer en kosten tegelijk bekijken

Je krijgt altijd te maken met afwegingen. Een grotere batch betekent vaak dat je per seconde meer verzoeken aankan, maar het maakt de wachttijd per verzoek langer. Kleinere modellen zijn sneller, al lever je soms wat in op nauwkeurigheid. Gebruik je edge-hardware, bijvoorbeeld een GPU in een apparaat zelf in plaats van in de cloud, dan kun je netwerklatency omzeilen. Alleen is je model dan meestal kleiner. Technieken als kwantisatie of pruning helpen weer extra snelheid of lagere rekenkosten halen, met soms een tikje minder precisie (maar vaak merk je daar weinig van). In situaties waar snelheid alles is, bijvoorbeeld bij aandelenhandel op hoge frequentie, telt letterlijk elke milliseconde. Maar als je met stapels PDF’s werkt die mogen wachten, mag het trager. Als je een AI-systeem bouwt, moet je bewust kiezen tussen snelheid, kosten en nauwkeurigheid. Vergeet niet om latency te blijven monitoren wanneer het in werking is, zodat je vertragingen en verstoringen snel vindt.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.