Taal en LLM's

B

Bag of words vs tf idf Bag-of-Words en TF-IDF zijn klassieke tekstrepresentatiemethoden die woorden tellen of wegen op basis van frequentie. Lees uitleg →

C

Chunking strategieen voor rag Chunking is het opsplitsen van documenten in kleinere stukken voor efficiënte retrieval en generatie in RAG. Lees uitleg → Code generation completion copilots Code generation en completion gebruiken AI om code te schrijven of aan te vullen op basis van natuurlijke taal of context. Lees uitleg → Context compression long context llms Context compression verkleint de invoer voor LLM's; long-context LLM's verwerken zeer lange teksten. Lees uitleg → Cosine similarity en distance metrics Cosine similarity meet de hoek tussen vectoren; distance metrics zoals Euclidische afstand meten de afstand ertussen. Lees uitleg →

D

Direct preference optimization dpo DPO is een methode om LLM's af te stemmen op menselijke voorkeuren zonder een apart beloningsmodel te trainen. Lees uitleg →

H

Wat is hallucinatie bij llms en hoe ontstaat het? Hallucinatie is het fenomeen waarbij een LLM plausibel klinkende maar onjuiste of verzonnen informatie genereert. Lees uitleg → Hoe verwerkt een llm context context window? Het context window is het maximale aantal tokens dat een LLM tegelijk kan verwerken, inclusief invoer en uitvoer. Lees uitleg → Hybrid search keyword dense vector search Hybride zoeken combineert keyword-gebaseerde en vector-gebaseerde retrieval voor betere zoekresultaten. Lees uitleg →

I

Intent classification Intentieclassificatie bepaalt het doel of de bedoeling achter een gebruikersvraag, vaak in chatbots. Lees uitleg →

K

Kv cache in llm inferentie De KV-cache slaat sleutel- en waardematrices op tijdens inferentie om herberekening te voorkomen en de generatie te versnellen. Lees uitleg →

L

Wat is een large language model llm? Een LLM is een neuraal netwerk met miljarden parameters dat getraind is op enorme tekstcorpora om taal te begrijpen en te genereren. Lees uitleg → Llm evaluation metrics bleu rouge perplexity BLEU, ROUGE en perplexity zijn metrieken om de kwaliteit van LLM-output te evalueren. Lees uitleg → Lora low rank adaptation LoRA is een fine-tuning-techniek die grote modellen aanpast met kleine, trainbare matrices zonder alle parameters te wijzigen. Lees uitleg →

M

Machine vertaling nmt Neural Machine Translation (NMT) vertaalt tekst automatisch met neurale netwerken, meestal transformers. Lees uitleg →

N

Named entity recognition ner NER identificeert en classificeert entiteiten zoals personen, organisaties en locaties in tekst. Lees uitleg → Wat is natural language processing nlp? NLP is het vakgebied binnen AI dat zich richt op het verwerken en begrijpen van natuurlijke taal door machines. Lees uitleg →

O

Open source vs closed source llm architecturen Open-source LLM's zijn vrij beschikbaar; closed-source modellen zijn eigendom van bedrijven en vaak alleen via API toegankelijk. Lees uitleg →

P

Part of speech pos tagging POS-tagging wijst aan elk woord een grammaticale categorie toe, zoals zelfstandig naamwoord, werkwoord of bijvoeglijk naamwoord. Lees uitleg → Prompt leaking prompt injection mechanica Prompt leaking is het uitlekken van de system prompt; prompt injection is het manipuleren van het model via invoer. Lees uitleg →

Q

Qlora quantized lora QLoRA combineert LoRA met kwantisatie om fine-tuning van grote modellen op nog minder hardware mogelijk te maken. Lees uitleg → Question answering qa systemen QA-systemen beantwoorden vragen automatisch, variërend van feitelijke vragen tot complexe redeneringen. Lees uitleg →

R

React pattern reason act ReAct combineert redeneren en handelen in LLM's, waardoor ze tools kunnen gebruiken en acties kunnen ondernemen. Lees uitleg → Reasoning models chain of thought prompting Chain-of-Thought prompting moedigt LLM's aan om redeneerstappen te expliciteren voor betere antwoorden. Lees uitleg → Wat is retrieval augmented generation rag? RAG combineert een retrieval-systeem met een generatief model om antwoorden te baseren op externe, actuele bronnen. Lees uitleg → Wat is rope rotary position embedding? RoPE is een positionele encoderingstechniek die relatieve posities van tokens vastlegt via rotaties in de embedding-ruimte. Lees uitleg →

S

Semantic search vs lexical search Semantisch zoeken matcht op betekenis; lexicaal zoeken matcht op exacte woorden of patronen. Lees uitleg → Sentimentanalyse Sentimentanalyse bepaalt de emotionele toon van tekst, vaak positief, negatief of neutraal. Lees uitleg → Small language models slms edge llms Small Language Models zijn compacte LLM's die op edge-apparaten kunnen draaien met beperkte rekenkracht. Lees uitleg → Speculative decoding Speculative decoding versnelt LLM-inferentie door een klein model meerdere tokens te laten voorstellen en een groot model deze te verifiëren. Lees uitleg → Stop words en lemmatisatie Stop words zijn veelvoorkomende woorden zonder veel betekenis; lemmatisatie reduceert woorden tot hun basisvorm. Lees uitleg → Wat is system prompt vs user prompt? De system prompt bepaalt het gedrag en de rol van het model; de user prompt is de concrete vraag of opdracht. Lees uitleg →

T

Temperature top p en top k parameters Temperature, Top-P en Top-K zijn parameters die de randomness en diversiteit van LLM-output bepalen. Lees uitleg → Text completion vs chatinstruction tuning Text completion voorspelt het volgende stuk tekst; instruction tuning maakt modellen geschikt voor het volgen van specifieke opdrachten. Lees uitleg → Text summarization abstractief vs extractief Tekstsamenvatting maakt een korte versie van een tekst; abstractief genereert nieuwe zinnen, extractief selecteert bestaande zinnen. Lees uitleg → Text to sql conversie Text-to-SQL vertaalt natuurlijke taal vragen naar SQL-queries voor databases. Lees uitleg → Tokenisatie words subwords bpe Tokenisatie is het proces waarbij tekst wordt opgesplitst in kleinere eenheden (tokens) die een model kan verwerken. Lees uitleg → Tree of thoughts tot Tree of Thoughts breidt Chain-of-Thought uit door meerdere redeneerpaden te verkennen en te evalueren. Lees uitleg →

V

Vector databases pinecone milvus chroma Vector databases slaan hoogdimensionale vectoren op en maken efficiënt gelijkeniszoeken mogelijk. Lees uitleg →

W

Word embeddings word2vec glove Word embeddings zijn dense vectorrepresentaties van woorden die semantische relaties vastleggen. Lees uitleg →