Vision language models vlm

Hoe een VLM informatie verwerkt

Een Vision-Language Model (VLM) verwerkt tegelijk plaatjes en tekst. Je komt ze tegen voor beeldomschrijvingen, VQA (je stelt vragen over het beeld en krijgt tekst als antwoord) of om vanuit tekst weer nieuwe beelden te maken. Meestal bestaat zo’n model uit twee delen: een vision encoder (zoals een Vision Transformer, ViT) en een taalmodel, dat vaak op basis van LLM's werkt. De encoder zet bijvoorbeeld een foto om naar getallenreeksen (‘embeddings’). Daarna krijgt het taalmodel deze samen met de tekst te verwerken. Je kunt in deze hoek modellen als CLIP, BLIP, Flamingo en GPT-4V tegenkomen. Bij het trainen gebruik je grote verzamelingen van beeld met bijbehorende tekst. Zo’n VLM kun je vragen stellen in gewone taal over wat er eigenlijk getoond wordt, of automatisch teksten laten maken voor blinden, online winkels of om schoolmateriaal te maken. Ook contentmoderatie is een toepassing.

Hobbels en wat eraan komt

VLM's lopen tegen een paar lastige dingen aan. Zo zijn ze niet altijd goed in het zien van ruimtelijke verbanden of het uit elkaar houden van meerdere objecten tegelijk. En soms verzinnen ze antwoorden (dat noemen we hallucineren): er klopt dan iets niet, omdat het object of de relatie die ze noemen niet in beeld is. Zit er bias in het trainingsmateriaal, dan gaat dat mis in de output. Het trainen van VLM’s vraagt nogal wat rekenkracht en echt heel veel data. Toch steken onderzoekers wereldwijd hier veel energie in, want VLM's slaan een brug tussen beelden en taal. Meer grip op de output, betermatchende antwoorden of zelfs koppelingen met audio- of videodata: daar zie je de meeste ontwikkeling momenteel.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.