KI-Halluzinationen: warum KI Fakten erfindet

KI-Halluzinationen in einem Satz

Eine Halluzination ist eine sachlich falsche Aussage, die ein KI-Modell mit derselben sprachlichen Selbstsicherheit ausgibt wie eine korrekte – erfundene Quellen, falsche Zahlen, nicht existierende Urteile, plausibel klingende Zitate, die nie gesagt wurden.

Das Tückische ist nicht der Fehler selbst, sondern das fehlende Warnsignal. Ein Mensch, der etwas nicht weiß, zögert, schränkt ein oder sagt es. Ein Sprachmodell formuliert in beiden Fällen gleich flüssig. Genau deshalb ist die Halluzination das größte Qualitätsrisiko im professionellen KI-Einsatz – und keines, das sich wegkonfigurieren lässt.

Die kompakte Erklärung, warum das im Kontext von KI-Suchsystemen passiert, findest du unter Large Language Models: Grundlagen. Dieser Artikel geht tiefer: Ursachen, Fälle, Gegenmaßnahmen und ein Prozess, mit dem ein Team das Risiko im Griff behält.

Die Ursachen: fünf Ebenen

Halluzinationen sind kein Bug, der behoben werden könnte, sondern eine Folge der Funktionsweise. Sie entstehen auf mehreren Ebenen gleichzeitig.

1. Das Modell weiß nichts, es formuliert

Ein Sprachmodell speichert keine Fakten in einer abfragbaren Datenbank. Es hat aus riesigen Textmengen gelernt, welche Wortfolgen wahrscheinlich aufeinander folgen. Auf die Frage nach einer Studie erzeugt es deshalb etwas, das wie eine Studienangabe aussieht – ein plausibler Autorenname, ein plausibles Jahr, ein plausibler Zeitschriftentitel. Ob diese Kombination existiert, ist für den Erzeugungsvorgang schlicht keine Kategorie. Die technische Grundlage dazu erklärt Wie funktioniert KI?.

2. Wissen wird komprimiert, nicht abgelegt

Trainingsdaten werden in Modellparameter verdichtet – eine verlustbehaftete Kompression. Häufige, oft wiederholte Fakten überleben diesen Prozess robust. Seltene Details verschwimmen: Randfiguren, kleine Unternehmen, Nischenprodukte, präzise Zahlen, Daten aus dem Trainingsrand. Deshalb sind Modelle bei Allgemeinwissen erstaunlich verlässlich und bei Spezialdetails erstaunlich unzuverlässig – exakt umgekehrt zu dem, was Nutzende erwarten.

3. Lücken werden gefüllt statt markiert

Sprachmodelle sind darauf optimiert, eine hilfreiche Antwort zu produzieren. Aus dem Training mit menschlichem Feedback haben sie gelernt, dass klare, vollständige Antworten besser bewertet werden als „Das weiß ich nicht“. Diese Belohnungsstruktur erzeugt einen systematischen Anreiz zum Raten. Neuere Modellgenerationen mit interner Zwischenüberlegung sind hier besser geworden und drücken Unsicherheit häufiger aus – verschwunden ist der Effekt nicht.

4. Der Zufall in der Formulierung

Bei der Textausgabe wird nicht immer der wahrscheinlichste nächste Baustein gewählt, sondern zufällig aus den wahrscheinlichsten gezogen. Dieser Zufallsanteil sorgt für sprachliche Vielfalt – und für Abweichungen. Je kreativer die Einstellung, desto höher das Erfindungsrisiko. Deshalb liefern zwei identische Prompts nicht zwangsläufig zwei identische Antworten.

5. Der Kontext selbst ist fehlerhaft

Auch mit Quellenanbindung verschwindet das Problem nicht. Wenn die abgerufenen Dokumente widersprüchlich, veraltet oder thematisch daneben sind, entsteht eine falsche Antwort mit korrekt aussehender Quellenangabe – die gefährlichste Variante, weil die Fußnote Vertrauen erzeugt, das der Inhalt nicht verdient. Hinzu kommt: In sehr langen Kontexten verlieren Modelle Informationen aus der Mitte messbar häufiger als solche am Anfang oder Ende.

Wo Halluzinationen besonders häufig auftreten

Es gibt ein klares Muster. Diese Aufgabentypen sind Risikozonen:

Bekannte Fälle – und was sie lehren

Der erfundene Rechtsprechungskatalog. 2023 reichten Anwälte in einem New Yorker Verfahren einen Schriftsatz ein, der sich auf mehrere Gerichtsentscheidungen berief. Keine davon existierte – ein Chatbot hatte sie erzeugt, inklusive Aktenzeichen und Zitaten. Auf Nachfrage der Anwälte bestätigte dasselbe System die Echtheit der Fälle. Es folgte eine Sanktion durch das Gericht. Lehre: Ein Modell nach der Korrektheit seiner eigenen Ausgabe zu fragen, ist keine Prüfung.

Der teure Chatbot-Rat. Ein Airline-Chatbot beschrieb einem Kunden eine Tarifregel, die es so nicht gab. Ein kanadisches Schiedsgericht entschied 2024, dass das Unternehmen an die Auskunft gebunden ist. Der Einwand, der Chatbot sei eine eigenständige Instanz, überzeugte nicht. Lehre: Was dein KI-System nach außen sagt, sagst du.

Der Fehler in der Produktdemo. Eine öffentlich vorgeführte KI-Antwort zur Astronomie enthielt eine falsche Zuordnung einer wissenschaftlichen Erstaufnahme – bemerkt von Fachleuten innerhalb weniger Stunden. Lehre: Halluzinationen erwischen auch die Hersteller selbst, in bestens vorbereiteten Situationen.

Ein weiterer, weniger spektakulärer Befund ist der wichtigste: Untersuchungen spezialisierter, quellengestützter Recherchesysteme zeigen, dass auch diese Systeme in einem relevanten Anteil der Antworten falsche oder falsch belegte Angaben enthalten. Grounding senkt die Fehlerquote deutlich, es beseitigt sie nicht.

Gegenmaßnahmen: was wirklich hilft

Die Maßnahmen unterscheiden sich stark in ihrer Wirkung. Sortiert nach Nutzen:

1. Quellen mitliefern statt abfragen. Der mit Abstand wirksamste Hebel: Gib dem Modell die relevanten Dokumente selbst mit und weise es an, ausschließlich daraus zu antworten. Aus „Was steht im Vertragsrecht zu X?“ wird „Beantworte anhand des angehängten Vertrags; steht die Antwort nicht darin, sage das.“ Damit wird aus einer Wissensfrage eine Leseaufgabe – und Lesen können Modelle sehr viel besser als Erinnern.

2. Webrecherche mit Quellenzwang erzwingen. Für alles Aktuelle: Recherchemodus aktivieren und auf Belegen bestehen. Und dann die Belege tatsächlich öffnen – Links werden erstaunlich oft geprüft, indem man auf ihre bloße Existenz vertraut. Wie eine strukturierte, belegte Recherche abläuft, zeigt Deep Research: KI-Recherche in der Tiefe.

3. Unsicherheit ausdrücklich erlauben. Ein Satz im Prompt verändert das Verhalten spürbar: „Wenn du dir bei einer Angabe nicht sicher bist, kennzeichne sie als unsicher statt zu raten.“ Das hebt die Belohnung für Vollständigkeit teilweise auf. Weitere Formulierungsmuster liefert Bessere Prompts schreiben.

4. Aufgaben zerlegen. Lange, mehrteilige Aufträge erhöhen das Risiko, weil das Modell Lücken überbrücken muss. Kleinere Schritte mit Zwischenprüfung sind messbar zuverlässiger.

5. Rechnen auslagern. Zahlen gehören in die Code-Ausführung oder in eine Tabelle, nicht in den Fließtext. Ein Modell, das rechnen darf statt zu formulieren, macht deutlich weniger Fehler.

6. Kreuzprüfung durch ein zweites Modell. Ein anderes Modell prüfen zu lassen, findet einen Teil der Fehler – aber nur, wenn es die Quelle mitbekommt. Ohne Quelle bewerten sich zwei Modelle gegenseitig als plausibel.

Was nicht hilft: Das Modell fragen, ob es sich sicher ist. Selbsteinschätzungen von Sprachmodellen korrelieren nur schwach mit tatsächlicher Korrektheit – der Fall aus New York ist genau daran gescheitert.

Ein QS-Prozess fürs Team

Einzelmaßnahmen reichen nicht, wenn mehrere Menschen mit KI arbeiten. Was funktioniert, ist ein abgestufter Prozess.

Schritt 1: Inhalte nach Risiko klassifizieren. Nicht jeder Text braucht dieselbe Prüftiefe.

Schritt 2: Prüfregeln festlegen. Drei Regeln decken den Großteil ab: Jede Zahl braucht eine Quelle. Jede Quelle wird geöffnet. Jeder Eigenname wird gegengeprüft.

Schritt 3: Verantwortung benennen. Für jeden veröffentlichten Inhalt gibt es genau eine namentlich verantwortliche Person. Nicht „die KI hat das geschrieben“, sondern ein Mensch, der freigegeben hat.

Schritt 4: Fehler sammeln. Führt eine kurze Liste aufgetretener Halluzinationen. Das schafft Bewusstsein, macht Risikozonen im eigenen Fachgebiet sichtbar und liefert konkretes Material für Schulungen – die nach Artikel 4 EU AI Act ohnehin verpflichtend sind.

Restrisiko: ehrlich einplanen

Halluzinationen verschwinden nicht. Sie sind eine Eigenschaft der Technologie, nicht ihr vorübergehender Kinderkrankheitszustand. Was du erreichen kannst, ist eine Fehlerquote, die zum Einsatzzweck passt – und ein Prozess, der die verbleibenden Fehler abfängt, bevor sie nach außen gehen.

Daraus folgt eine einfache Entscheidungsregel: Setze KI dort ein, wo ein Fehler auffällt und korrigierbar ist. Entwürfe, Strukturen, Varianten, Zusammenfassungen mit vorliegender Quelle – hervorragend geeignet. Alles, wo ein unbemerkter Fehler direkt beim Kunden, im Vertrag oder in der Öffentlichkeit landet, braucht eine menschliche Instanz dazwischen. Diese Grenze zu ziehen ist keine Technikfrage, sondern eine Führungsentscheidung.

Nicht zu verwechseln ist das Thema übrigens mit der Frage, ob ein Text von einer KI stammt – dazu und zu den Grenzen entsprechender Detektoren gibt es einen eigenen Artikel: KI-Inhalte erkennen.

Fazit

KI-Halluzinationen entstehen, weil Sprachmodelle formulieren statt nachschlagen, seltenes Wissen komprimiert verlieren und darauf trainiert sind, lieber zu antworten als zu schweigen. Wirksam dagegen ist nicht das bessere Modell, sondern das bessere Vorgehen: Quellen mitgeben, Unsicherheit erlauben, Aufgaben zerlegen, Zahlen auslagern – und einen abgestuften Prüfprozess etablieren, in dem für jeden veröffentlichten Inhalt ein Mensch geradesteht. Wer das hat, nutzt KI produktiv und schläft ruhig.