Prompt Injection: Definition, Risiko und Abwehr
Warum der Begriff zählt
Sobald ein Assistent E-Mails liest, Webseiten öffnet oder in Systemen handelt, wird jede fremde Quelle zur möglichen Einflugschneise. Ein Modell trennt nicht von Natur aus zwischen deiner Instruktion und einem Satz, der in einem Dokument steht. Wer das ignoriert, baut einen Assistenten, der auf Zuruf eines Dritten sensible Inhalte ausleitet. Deshalb gehört die Frage nach Prompt Injection in jeden Bau, der einen Agenten mit echten Rechten ausstattet.
Wann es relevant ist
- Der Assistent verarbeitet Inhalte aus Quellen, die du nicht kontrollierst.
- Ein Agent darf Aktionen auslösen, nicht nur Text erzeugen.
- Vertrauliche Daten liegen im Zugriff des Systems.
- Externe Nutzer oder Kunden füttern das System mit eigenen Eingaben.
Wann nicht
Ein reiner Textgenerator ohne Werkzeuge, ohne Datenzugriff und ohne externe Eingaben trägt ein geringes Risiko. Wenn das Modell nur einen festen, intern kontrollierten Text umformuliert und niemand Fremdes Inhalte einspeist, steht die Absicherung gegen Prompt Injection nicht im Vordergrund. Die Lage ändert sich in dem Moment, in dem das System nach außen öffnet.
Branchen, die das nutzen
- Banken und Versicherungen: Kundenassistenten dürfen keine Kontodaten preisgeben, nur weil ein manipuliertes Dokument sie dazu auffordert.
- Rechtsberatung und Kanzleien: Vertragsanalysen laufen über eingereichte Fremddateien, deren Inhalt niemals zur Anweisung werden darf.
- Öffentliche Verwaltung: Bürgernahe Systeme verarbeiten fremde Eingaben und brauchen klare Grenzen gegen untergeschobene Befehle.
- Gesundheitswesen: Assistenten mit Zugriff auf Patientenakten müssen gegen Ausleitung durch manipulierte Texte gehärtet sein.
Typische Anwendungsfälle
- Ein Support-Assistent liest Kundenmails, in denen versteckte Befehle stehen, und wird darauf getestet.
- Ein Rechercheagent öffnet Webseiten, die eine Anweisung zum Datenabgriff enthalten.
- Ein Dokumentenassistent verarbeitet PDFs mit eingebettetem Text, der das System umsteuern soll.
- Ein Vertriebsagent zieht Daten aus einem CRM, dessen Freitextfelder ein Angreifer befüllt hat.
- Ein interner Chatbot bekommt über eine Wissensdatenbank vergiftete Einträge untergeschoben.
Entscheidungshilfe
| Signal | Prompt Injection ist ein Thema | Alternative |
|---|---|---|
| System verarbeitet fremde Inhalte | Härtung und Tests einplanen | interne Quellen strikt kuratieren |
| Agent hat Handlungsrechte | Rechte begrenzen, Freigaben einbauen | reinen Vorschlagsmodus wählen |
| Nur fester interner Text | geringes Risiko | Standard-Prüfung genügt |
| Sensible Daten im Zugriff | Ausleitung aktiv verhindern | Daten aus dem Kontext heraushalten |
Beispiel
Ein Team baut im Workshop einen Assistenten, der eingehende Bewerbungen zusammenfasst. In einer Testdatei versteckt das Team eine Zeile, die den Assistenten anweist, interne Bewertungskriterien auszugeben. Der Prototyp fällt darauf herein, und genau das macht das Risiko sichtbar. Danach wird die Trennung zwischen Instruktion und Inhalt gehärtet und erneut geprüft. Das Beispiel beschreibt die Vorgehensweise, keine behauptete Kundenkennzahl.
Verbindung zu Services
Der passende Einstieg ist der KI-Workshop, in dem der Angriff am Prototyp getestet wird, danach KI-Implementierung und KI-Beratung für Rechte und Freigaben.
Quellen
Diese Einordnung beschreibt gängige Praxis beim Absichern von KI-Assistenten und Agenten. Konkrete Bedrohungslage und wirksame Maßnahmen hängen vom Aufbau, den Datenquellen und den erteilten Rechten ab und sollten im jeweiligen Projekt geprüft werden.