Question answering qa systemen
Soorten QA-systemen
Question Answering (QA) is een NLP-taak waarbij een systeem een antwoord genereert op een vraag in natuurlijke taal. Er zijn verschillende soorten QA. Extractive QA selecteert een fragment uit een gegeven tekst als antwoord. Open-domain QA zoekt het antwoord in een grote corpus of het hele internet. Closed-domain QA is beperkt tot een specifiek domein, zoals medisch of juridisch. Multiple-choice QA kiest het juiste antwoord uit opties. Generative QA genereert een vrij antwoord, vaak met een LLM. Moderne QA-systemen combineren retrieval en generatie, zoals in RAG. Ze gebruiken een retriever om relevante documenten te vinden en een reader of generator om het antwoord te formuleren. QA wordt toegepast in klantenservice, onderwijs, zoekmachines en persoonlijke assistenten. De kwaliteit hangt af van de retrieval, de taalvaardigheid van het model en de complexiteit van de vraag.
Uitdagingen en evaluatie
QA-systemen staan voor uitdagingen zoals meerstapsredeneringen, het combineren van informatie uit meerdere bronnen en het omgaan met ambiguïteit. Een vraag als 'Wie was de president van de VS tijdens de maanlanding?' vereist zowel kennis van de maanlanding als van de Amerikaanse presidenten. Multi-hop QA vereist het combineren van meerdere feiten. Ook het omgaan met onnauwkeurige of tegenstrijdige bronnen is lastig. Evaluatie van QA gebeurt met metrieken zoals Exact Match (EM) en F1-score voor extractieve QA. Voor generatieve QA worden ROUGE, BLEU en BERTScore gebruikt, maar deze correleren niet altijd met menselijke beoordeling. Human evaluation blijft belangrijk. Het opbouwen van een goed QA-systeem vereist hoogwaardige data, goede retrieval en een robuust model. QA blijft een actief onderzoeksgebied en is een van de meest tastbare toepassingen van NLP.