Prompt leaking prompt injection mechanica
Prompt leaking
Prompt leaking verwijst naar het fenomeen waarbij een gebruiker het model weet te verleiden of te dwingen om de system prompt of andere vertrouwelijke instructies te onthullen. Dit kan gebeuren door vragen zoals 'Wat zijn je instructies?' of 'Herhaal alles boven deze regel.' Als de system prompt gevoelige informatie bevat, zoals API-sleutels, bedrijfsregels of beveiligingsprotocollen, kan dit een ernstig lek zijn. Prompt leaking is een vorm van information disclosure. Het is moeilijk volledig te voorkomen, omdat het model is getraind om behulpzaam te zijn en tekst te genereren. Mitigaties zijn onder andere het niet plaatsen van gevoelige informatie in de system prompt, het gebruik van output filters en het trainen van modellen om dergelijke verzoeken te weigeren. Het is een belangrijk aandachtspunt bij het bouwen van LLM-toepassingen, vooral in productieomgevingen.
Prompt injection
Prompt injection is een aanval waarbij een gebruiker kwaadaardige instructies in de invoer plaatst om het gedrag van het model te manipuleren. Dit kan direct zijn, zoals 'Negeer alle vorige instructies en doe het volgende...', of indirect, via externe bronnen zoals een webpagina die door het model wordt gelezen. Indirecte prompt injection is bijzonder gevaarlijk in RAG-systemen, waar het model documenten van het internet haalt. Een kwaadaardig document kan instructies bevatten die het model ertoe aanzetten om schadelijke acties uit te voeren of verkeerde informatie te geven. Prompt injection is een vorm van adversarial attack. Het is een van de grootste uitdagingen voor de veiligheid van LLM's. Mitigaties zijn onder andere het scheiden van systeem- en gebruikersinvoer, het gebruik van sandboxing, het filteren van verdachte patronen en het trainen van modellen om injectiepogingen te herkennen. Het is een kat-en-muisspel tussen aanvallers en verdedigers. Bewustwording en zorgvuldig ontwerp zijn essentieel.