Prompt injection: så skyddar du en AI-assistent som läser din mejl

Prompt injection är en attack där en text är skriven så att en AI-modell tar den för en instruktion och följer den, i stället för att bara behandla den som data. Attacken utnyttjar att språkmodeller har svårt att skilja mellan de instruktioner utvecklaren har gett, det användaren skriver och det innehåll modellen läser på egen hand. Om en assistent kan surfa på webben, öppna bifogade filer eller läsa din inkorg kan en främmande text i dessa källor styra vad den gör.

Så fungerar attacken

En språkmodell tar emot sina instruktioner i samma textflöde som användarens fråga och det material den läser. Den har ingen inbyggd gräns mellan “det här är en order” och “det här är bara innehåll”. Enligt Wikipedia finns två huvudtyper:

• Direkt prompt injection sker när användarens egen inmatning ändrar modellens beteende. Det är den ursprungliga formen av attacken.
• Indirekt prompt injection sker när instruktionen ligger i en extern källa, till exempel ett mejl, ett dokument eller en webbsida. Modellen hämtar sidan, läser texten och kan tolka den som om användaren eller utvecklaren sagt det.

Den indirekta typen är den som oroar mest för vanliga användare, eftersom du inte skrev den och kanske aldrig ser den. Wikipedia ger ett exempel: en jobbsökare kan skriva dold, vit text i sitt CV, och en AI som betygsätter CV:n kan ge ett bra betyg trots att den dolda texten inte har något med kvalifikationerna att göra.

Så känner du igen en misstänkt instruktion

Det finns inget facit för hur en attack ser ut. Följande tecken är dock vanliga:

1. Texten säger åt modellen att “ignorera tidigare instruktioner” eller att “låtsas vara” något annat.
2. Texten vill ha ut uppgifter, till exempel lösenord, kontaktlistor, kundregister eller den dolda systemprompten.
3. Texten innehåller instruktioner som inte hör till innehållet, som att skicka svaret till en viss adress.
4. Text är gömd med samma färg som bakgrunden, i extremt liten stil eller i bildelement. Wikipedia nämner att även dolda instruktioner i bilder kan påverka modellens svar.

Har du en assistent som kan skicka mejl eller ändra filer är den sista kontrollen viktigast: en modell som läst en skadlig text ska inte kunna utföra åtgärden utan att du godkänner den.

Vad som hänt i kända fall

Enligt Wikipedia blev metoden synlig i Bing Chat i februari 2023. En student lyckades få assistenten att ignorera sina tidigare direktiv och visa interna riktlinjer och kodnamnet “Sydney”. Microsoft bekräftade problemet och sa att systemkontrollerna utvecklas kontinuerligt.

Wikipedia beskriver också fall från 2024 och 2025. I december 2024 var ChatGPT:s sökverktyg sårbart för indirekt prompt injection: dold text på en webbsida kunde ändra svaret så att en negativ recension framstod som positiv. I februari 2025 visade en säkerhetsforskare att dolda instruktioner i ett dokument kunde lagras i Geminis långtidsminne och aktiveras senare.

Wikipedia skriver att attackerna kan leda till bland annat manipulerad data, nätfiske, desinformation och överbelastningsattacker. Det är inte små felaktigheter.

Vad du kan göra som användare

Ingen enskild åtgärd stoppar attacken helt. Wikipedia återger en bedömning från augusti 2023 av en brittisk myndighet för cybersäkerhet: problemet kan vara en inneboende egenskap hos språkmodellsteknik, och det finns ännu inga säkra skyddsåtgärder. Skyddet bygger därför på flera lager:

• Ge assistenten så få rättigheter som möjligt. Om den bara behöver läsa, ge den inte rätt att skicka, radera eller betala.
• Godkänn känsliga åtgärder själv. Överföringar, delning av filer och utskick till nya mottagare bör kräva din bekräftelse.
• Var försiktig med webbsidor och dokument från okända avsändare. Be inte assistenten sammanfatta en sida du inte själv skulle öppna.
• Granska assistentens minne. Om assistenten har ett långtidsminne, gå igenom det regelbundet och ta bort sådant du inte känner igen.
• Dela inte hemligheter i fria textfält. Lösenord och bankuppgifter hör inte hemma i en chatt som läser externt material.

Wikipedia listar också skyddsåtgärder för utvecklare: minsta möjliga behörighet, mänsklig kontroll över känsliga operationer och isolering av externt innehåll. Enligt Wikipedia är det begränsat hur mycket det hjälper att enbart förlita sig på en systemprompt med instruktioner om att vara försiktig.

Vanliga frågor

Är prompt injection samma sak som jailbreak?

Nej. Jailbreak syftar på att kringgå modellens egna säkerhetsspärrar. Prompt injection utnyttjar i stället att modellen inte kan skilja mellan utvecklarens instruktioner och innehåll den läser. Wikipedia noterar att de två ibland förekommer tillsammans men är olika tekniker.

Är det ett problem för företag?

Ja. Om ett företags AI-assistent läser inkommande mejl eller kundärenden kan en utomstående försöka styra svaren. Därför bör företag kräva godkännande för åtgärder med externa effekter och begränsa vilka datakällor modellen får läsa. Det här är en slutsats av resonemanget ovan, inte ett påstående från en källa.

Hjälper det att skriva i systemprompten att modellen ska vara försiktig?

Bara i begränsad utsträckning. Wikipedia anger att det finns begränsad effekt i att enbart förlita sig på en systemprompt med instruktioner om att vara försiktig.

Sammanfattning av checklistan

Begränsa rättigheterna, godkänn känsliga steg, läs misstänkt innehåll med skepsis och håll hemligheter utanför chatten. Det skyddar inte helt, men det gör skadan mycket mindre.