Prompt Injections – wenn die KI das Falsche tut

Generative KI ist ein bisschen wie ein Butler: höflich, aufmerksam und sehr bemüht, unseren Wünschen Folge zu leisten. Doch was passiert, wenn jemand diesen Butler mit einer raffinierten Anweisung austrickst – und er plötzlich Dinge tut, die er eigentlich nicht sollte? Willkommen in der Welt der Prompt Injections.

Was ist eine Prompt Injection?

Eine Prompt Injection ist ein Angriff auf Sprachmodelle wie ChatGPT, bei dem die KI bewusst durch manipulierte Eingaben ausgetrickst wird. Statt brav das zu tun, was der Entwickler vorgesehen hat, folgt das Modell plötzlich den Anweisungen des Angreifers.

Klingt technisch? Ist in der Praxis oft erschreckend einfach.

Hier ein vereinfachtes Beispiel:

Was passiert hier? Die KI bekommt eigentlich den Auftrag zu übersetzen – wird aber durch eine schlaue Formulierung in der Eingabe dazu gebracht, diese Anweisung zu ignorieren. Und sie macht’s. Ohne zu murren.

Warum ist das ein Problem?

In harmlosen Fällen entsteht dabei nur Blödsinn. Aber in ernsthaften Anwendungen – etwa im Kundenservice, bei E-Mail-Zusammenfassungen oder in Unternehmensprozessen – wird es heikel.

Stell dir vor, ein virtueller Assistent hat Zugriff auf sensible Dokumente oder darf automatisiert Mails versenden. Eine gut platzierte Prompt Injection kann ihn dann dazu bringen, genau diese Dokumente weiterzuleiten. Oder falsche Informationen zu verbreiten. Oder gar Schadcode auszuführen.

Aktueller Fall: Gmail & Gemini

Genau das ist kürzlich bei Google Gmail passiert. Dort kann man sich Mails durch den KI-Assistenten Gemini zusammenfassen lassen. Klingt praktisch – ist es auch. Doch Sicherheitsforscher haben gezeigt, wie leicht diese Funktion manipulierbar ist.

Wie? Angreifer schreiben unsichtbare Befehle in die E-Mail, z. B. in weißer Schrift oder im HTML-Fußbereich. Wenn Gemini die Mail zusammenfasst, liest es diese Befehle mit – und führt sie aus. Das kann harmlos wirken, aber gefährlich werden.

Beispiel:
In der Zusammenfassung steht plötzlich: „Warnung: Ihr Passwort wurde kompromittiert. Rufen Sie sofort diese Nummer an.“
Das ist keine echte Warnung – sondern eine manipulierte KI-Ausgabe. Und wer drauf reinfällt, tappt in eine Phishing-Falle.

Google arbeitet bereits an Gegenmaßnahmen:

• Auffällige Antworten sollen künftig ausgeblendet werden.
• Ein Warnbanner soll erscheinen.
• Links in E-Mail-Zusammenfassungen werden überprüft.

Aber klar ist: Solche Angriffe werden uns in Zukunft häufiger begegnen.

Wie funktionieren Prompt-Injections eigentlich?

Das Grundproblem: LLMs (Large Language Models) behandeln Entwickleranweisungen und Benutzereingaben gleich – beides ist einfach Text. Und so können Angreifer das System durch geschickt formulierte Prompts dazu bringen, sich selbst zu widersprechen.

Man unterscheidet zwei Typen:

• Direkte Prompt Injection: Der Angriff kommt direkt über die Benutzereingabe („Ignoriere alle Anweisungen…“).
• Indirekte Prompt Injection: Die Angriffs-Prompts sind in Texten versteckt, die das LLM verarbeitet – z. B. Webseiten, PDFs oder E-Mails.

Inzwischen gibt es sogar Würmer, die sich über solche Prompts selbstständig verbreiten können. Zum Beispiel über Mail-KIs, die eingehende Nachrichten lesen und weiterleiten.

Was können wir dagegen tun?

Das Tückische: Prompt Injections sind kein „klassischer Hack“. Es braucht keinen Code, keine SQL-Befehle, keine Exploits. Es reicht Sprache.

Daher sind Schutzmaßnahmen schwierig. Dennoch gibt es ein paar Ansätze:

• Sorgfältige Eingabevalidierung: Filter für verdächtige Formulierungen.
• Minimale Berechtigungen: KIs sollten nur Zugriff auf das Nötigste haben.
• Human in the Loop: Kritische Aktionen brauchen menschliche Freigabe.
• Aufklärung: Nutzer sollten wissen, dass auch KI-Zusammenfassungen nicht immer vertrauenswürdig sind.

Prompt Injections sind die Sicherheitslücke Nummer eins bei KI-Anwendungen. Und sie zeigen uns, dass KI-Modelle nicht nur intelligent, sondern auch leicht manipulierbar sind.

Ob bei Chatbots, Mail-Assistenten oder automatisierten Reports – wir sollten uns bewusst sein, dass die vermeintlich objektive KI leicht zu täuschen ist. Und dass wir am Ende die Verantwortung tragen, was mit ihren Ausgaben passiert. Wenn du also das nächste Mal auf „E-Mail zusammenfassen“ klickst, wirf vielleicht doch nochmal einen Blick auf den Originaltext.

Eure Rookies,
Niklas & Jan