Text summarization abstractief vs extractief
Extractieve samenvatting
Extractieve samenvatting selecteert de belangrijkste zinnen of zinsdelen uit de originele tekst en voegt deze samen tot een samenvatting. Het genereert geen nieuwe tekst, maar kiest bestaande fragmenten. Dit maakt de methode betrouwbaar en minder gevoelig voor hallucinaties. Traditionele extractieve methoden gebruiken statistieken zoals TF-IDF, positie van zinnen en lengte. Moderne methoden gebruiken machine learning en deep learning om de importantie van zinnen te scoren. Voordelen zijn de eenvoud, snelheid en het behoud van originele formuleringen. Nadelen zijn dat de samenvatting onsamenhangend kan zijn, omdat zinnen uit verschillende delen van de tekst komen. Ook kunnen redundante of minder relevante zinnen worden opgenomen. Extractieve samenvatting wordt veel gebruikt in nieuwsaggregatie en juridische documentanalyse, waar precisie belangrijk is.
Abstractieve samenvatting
Abstractieve samenvatting genereert nieuwe zinnen die de kern van de tekst weergeven, vergelijkbaar met hoe een mens zou samenvatten. Dit vereist een dieper begrip van de tekst en de mogelijkheid om te parafraseren. Moderne abstractieve samenvatting gebruikt sequence-to-sequence-modellen, vaak met transformers zoals BART, T5 of GPT. Deze modellen kunnen vloeiende en coherente samenvattingen produceren. Voordelen zijn de leesbaarheid en het vermogen om informatie te comprimeren. Nadelen zijn de kans op hallucinaties, het weglaten van belangrijke details en het moeilijker evalueren van de kwaliteit. Abstractieve samenvatting is uitdagender dan extractief, omdat het model de tekst moet begrijpen en opnieuw moet formuleren. Het wordt gebruikt in nieuwsapps, zakelijke rapporten en persoonlijke assistenten. Evaluatie gebeurt met metrieken zoals ROUGE, BLEU en BERTScore, maar menselijke beoordeling blijft belangrijk. De keuze tussen extractief en abstractief hangt af van de toepassing: voor feitelijke precisie is extractief vaak veiliger, voor leesbaarheid en beknoptheid is abstractief beter.