Semantic search vs lexical search

Zoeken op betekenis (semantic search)

Bij semantic search gebruik je embeddings. Daarmee vergelijk je niet de woorden zelf, maar de betekenis achter de woorden, zowel in je zoekopdracht als in de documenten. Dus als je zoekt op 'goedkope laptops', vind je misschien ook pagina's met 'betaalbare notebooks' (en nee, die woorden hoeven nergens letterlijk te staan). Dit werkt goed als je te maken hebt met menselijke taal, synoniemen, context en zinnen die op meerdere manieren kunnen worden bedoeld. Je ziet semantic search dubbel zo vaak in systemen die chatbots aansturen, retrieval augmented generation (RAG) ondersteunen of aanbevelingen geven. Hiervoor heb je een embedding model nodig (denk aan OpenAI of Hugging Face) en een vector database om de getalletjes in op te slaan. Dat vraagt wat van je setup, en ja, meestal ook meer kosten. Maar het zoeken is dan niet altijd scherp genoeg voor hele specifieke codes of unieke naamvarianten. Dus bij vage zoekopdrachten blinkt het uit, maar voor 'precies dit woord' wil je soms toch iets anders. Je combineert het dan vaak met lexicaal zoeken.

Zoeken op exact woord (lexical search)

Lexical search (je ziet ook wel de naam keyword search) doet waar het woord voor staat: zoeken op exacte woorden (of vaste patronen) die in je tekst staan. Het werkt met inverted indexes, TF-IDF en BM25. Je krijgt direct antwoord of een woord voorkomt. Snel, voorspelbaar, en als er iets misgaat kun je helder uitleggen waarom. Zoek je op een code, een naam, een afkorting of een vast kenmerk in je data? Vaak is lexical search dan nodig. Specifieke zinnen, filtering op velden of het doorkammen van metadata: lexicaal zoeken mist weinig. Synoniemen? Telt lexical search niet standaard mee. Dus 'auto' vindt geen 'wagen', tenzij je die zelf apart koppelt (met een synoniemenlijst). Het systeem snapt geen context en pikt niet uit zichzelf de bedoeling van omslachtig geformuleerde vragen op. Daardoor blijft lexical search minder handig bij menselijke, natuurlijke taal en open vragen. Toch zie je het bijna overal terug in zoeksystemen, meestal als vast onderdeel van een mix met semantic search. Je kiest wat past. In specialistische gevallen, bijvoorbeeld bij medische of juridische termen waarbij één fout teveel is, komt lexicaal zoeken standaard om de hoek kijken. Vragen zonder vastomlijnd zoekwoord? Dan kom je uit bij semantic search.

Dit toepassen in
jouw bedrijf?

We vertalen het naar jouw processen en laten binnen een week een werkend prototype zien.