Seit dem Launch von ChatGPT und Co. taucht KI immer häufiger da auf, wo man sie eigentlich nicht sofort vermuten würde: im Gerichtssaal. Nein, sie trägt (noch) keine Robe – aber sie hilft Anwält:innen beim Schreiben von Schriftsätzen, analysiert Urteile oder spuckt Argumentationshilfen aus. Klingt effizient? Ist es auch. Aber manchmal… halluziniert die KI einfach.
Und das ist im Justizkontext ungefähr so hilfreich wie ein Einhorn als Zeugin der Anklage.
Der Fall, der alles ins Rollen brachte
Im Mai 2023 machte ein eigentlich unspektakuläres Verfahren in New York Schlagzeilen. Der Grund: Die Anklageschrift enthielt mehrere gerichtliche Präzedenzfälle – die es nie gegeben hat. Sie stammten direkt aus dem digitalen Kopf von ChatGPT. Der zuständige Anwalt hatte die KI ohne Prüfung verwendet – mit peinlichen Folgen.
Seither häufen sich die Berichte über sogenannte KI-Halluzinationen in juristischen Texten. Also erfundene Fakten, Fake-Zitate oder frei erfundene Gerichtsurteile. Ein bisschen so, als würde man Google Maps nach dem Weg fragen – und mitten im See landen.
Wie oft passiert das eigentlich?
Eine ernüchternde Antwort darauf gibt eine Studie der Stanford University aus dem Jahr 2024: Bei konkreten juristischen Anfragen halluzinieren KI-Modelle wie ChatGPT in 69 bis 88 Prozent der Fälle. Ja, richtig gelesen.
Besonders eindrucksvoll zeigt das eine Datenbank des französischen Anwalts und Data-Scientists Damien Charlotin. Er hat weltweit dokumentierte Fälle gesammelt, in denen KI bei Gerichtsverfahren halluziniert hat – also Inhalte generiert hat, die so nie existierten. Seit Mitte 2023 sind darin 160 Fälle gelistet. Und das ist nur die Spitze des Eisbergs.
Claude, der Kreative
Ein besonders schillerndes Beispiel: Im Prozess zwischen dem KI-Unternehmen Anthropic und mehreren Musikverlagen zauberte der hauseigene Claude-Chatbot Zitate, Liedtitel und sogar Urheber:innen aus dem Nichts. Trotz menschlicher Prüfung rutschten die Halluzinationen durch – unangenehm für das Anwaltsteam, teuer fürs Unternehmen.
2025 wurden laut der Datenbank bereits über 80 neue Fälle weltweit gemeldet – einige auch aus Europa. Fast alle davon hatten mit frei erfundenen Zitaten oder Quellenangaben zu tun. Der Großteil stammt aus den USA, wo der KI-Einsatz in Kanzleien längst keine Seltenheit mehr ist.
Peinlich, aber häufig (noch) ohne Konsequenzen?
Besonders brisant: In vielen Fällen fällt die Strafe für solche KI-Patzereien mild aus. Warum? Laut Charlotin vermutlich, „weil es für alle Beteiligten etwas peinlich ist“. Ein Anwalt, der KI benutzt, ohne zu prüfen? Eine Richterin, die es übersieht? Da schweigt man lieber.
Doch der Imageschaden bleibt – und auch Sanktionen wie Abmahnungen oder Kostenübernahmen sind möglich. Gerade deshalb sollten alle, die KI in juristischen Kontexten einsetzen, eins verinnerlichen: Die KI denkt sich notfalls auch ein ganz neues Rechtssystem aus, wenn man sie lässt.
Drei erfundene Fälle – und 6.000 Dollar Strafe
Wie ernst KI-Halluzinationen vor Gericht genommen werden, zeigt ein Fall aus den USA: Im Mai 2025 wurde ein Anwalt im Bundesstaat Indiana zu einer Geldstrafe von 6.000 US-Dollar verurteilt, weil er in mehreren Schriftsätzen insgesamt drei frei erfundene Gerichtsentscheidungen zitiert hatte – alle generiert von einer KI. Die Inhalte wurden ungeprüft übernommen, ohne die üblichen juristischen Standards wie „Shepardizing“ oder „KeyCiting“ anzuwenden. Ursprünglich wollte das Gericht sogar 15.000 Dollar verhängen, sah aber letztlich von der vollen Summe ab. Besonders deutlich wurde der Richter in seiner Begründung: Es sei zwar legitim, KI zur Unterstützung bei der Recherche einzusetzen, aber sich blind auf deren Ergebnisse zu verlassen, sei ein grober Fehler. Die Verifizierung juristischer Quellen sei eine Grundanforderung anwaltlicher Arbeit – wer stattdessen auf „KI-generierte Fantasiefälle“ zurückgreife, beschädige seine Glaubwürdigkeit nachhaltig.
Der Einsatz von KI in der Justiz ist gekommen, um zu bleiben. Aber Halluzinationen zeigen: Wer blind auf die Maschine vertraut, riskiert mehr als nur ein paar schiefe Blicke. Ob als Anwalt, Richterin oder Kläger – der gesunde Menschenverstand und eine manuelle Prüfung bleiben unverzichtbar.
Denn eines ist sicher: Wenn die Justiz von KI träumt, sollte sie sicherstellen, dass es kein Albtraum wird.
Eure Rookies,
Niklas & Jan