Halluzinationen erkennen und abstellen
Der Grund liegt in der Technik, nicht im Fehler
Ein Sprachmodell schlägt nichts nach. Es setzt eine Wortfolge fort, Wort für Wort, nach Wahrscheinlichkeiten, die es aus riesigen Textmengen gelernt hat. Ausführlich: Sprachmodelle verstehen.
Daraus folgt der unangenehmste Satz dieses Artikels: Eine Erfindung und eine richtige Antwort entstehen im Modell auf exakt dieselbe Weise. Es gibt im Inneren keinen Unterschied zwischen „das weiß ich“ und „das klingt plausibel“. Deshalb klingt das Falsche genauso souverän wie das Richtige – und deshalb ist Souveränität des Tons kein Qualitätsmerkmal.
Wer das einmal verstanden hat, stellt die richtige Frage. Nicht: Wie bringe ich es dazu, nie falsch zu liegen? Sondern: Wie baue ich meinen Ablauf so, dass ein Fehler auffällt, bevor er Schaden anrichtet?
Die vier Fehlerarten, nach Gefährlichkeit sortiert
Die erfundene Quelle. Ein Gesetz, ein Paragraph, eine Norm, eine Studie – formal korrekt zitiert, inhaltlich nicht existent. Die gefährlichste Art, weil sie Autorität vortäuscht und weil niemand jede Fundstelle prüft. Im rechtlichen und technischen Umfeld ist das die Fehlerart, die Häuser in Schwierigkeiten bringt.
Die erfundene Zahl. Marktanteile, Preise, Fristen, Verbrauchswerte. Kommt besonders oft, wenn in der Frage eine Zahl erwartet wird. Zahlen ohne Quelle und Stichtag gehören grundsätzlich behandelt wie Gerüchte.
Die stille Auslassung. Das Modell fasst zusammen und lässt die Ausnahme weg, auf die es ankam. Schwer zu entdecken, weil nichts Falsches dasteht – nur das Entscheidende fehlt. Häufig bei Zusammenfassungen langer Verträge und Protokolle.
Die fehlerhafte Verknüpfung. Zwei richtige Angaben werden zu einer falschen Aussage verbunden: die Regel aus einem Land, die Frist aus einem anderen. Typisch bei Fragen über mehrere Dokumente hinweg.
Was wirklich hilft – in der Reihenfolge der Wirkung
1. Unterlagen mitgeben statt aus dem Gedächtnis fragen. Der mit Abstand größte Hebel. Ein Modell, das die Vertragsklausel vor sich hat, erfindet sie nicht. Ein Modell, das sie aus dem Gedächtnis zitieren soll, kann gar nicht anders als zu raten. Verfahren: Eigene Unterlagen nutzbar machen.
2. Fundstellen verlangen. Die Anweisung „Belege jede Aussage mit der Stelle aus dem beigefügten Dokument; wenn es dort nicht steht, schreibe: steht nicht in den Unterlagen“ verändert das Verhalten spürbar. Nicht, weil das Modell ehrlicher wird, sondern weil die Aufgabe nun eine Erfindung sichtbar macht.
3. „Weiß ich nicht“ erlauben. Ein Modell, das antworten muss, antwortet. Wer ausdrücklich zulässt, dass eine Antwort ausbleibt, bekommt deutlich weniger Erfindungen. Das gilt übrigens für Menschen auch.
4. Die Aufgabe kleiner schneiden. Eine Frage über ein Dokument ist zuverlässiger als eine Frage über zwanzig. Wer zwanzig braucht, lässt zuerst suchen und dann antworten – getrennt.
5. Gegenprobe mit Umkehrung. Für heikle Aussagen: dieselbe Frage anders herum stellen. Ein Modell, das sich bei der Umkehrung widerspricht, hat beim ersten Mal geraten.
Die Prüfung, die sich rechnet
Der häufigste Einwand gegen Prüfschritte lautet, sie fräßen den Zeitgewinn auf. Das stimmt, wenn man alles gleich prüft. Es stimmt nicht, wenn man nach Schaden staffelt.
| Was auf dem Spiel steht | Prüfung |
|---|---|
| Interner Entwurf, Notiz, Gedankenstütze | Lesen genügt |
| Text, der an einen Kunden geht | Zweites Augenpaar, Fakten und Zahlen punktuell |
| Zahlen in Angebot oder Kalkulation | Jede Zahl gegen die Quelle, ohne Ausnahme |
| Rechtliches, Medizinisches, Sicherheitsrelevantes | Fachliche Freigabe, dokumentiert |
Diese vier Zeilen gehören in Ihre Betriebsregelung. Sie sind in zehn Minuten beschlossen und ersparen die Grundsatzdebatte, die sonst bei jedem Einzelfall neu geführt wird. Vorlage: KI-Leitplanken.
Der Fehler, den Betriebe wirklich machen
Nicht die Halluzination ist das Problem, sondern die verschwiegene Halluzination. In Häusern, in denen ein Fehler Ärger bedeutet, meldet ihn niemand. Dann kommt derselbe Fehler zehnmal vor, bevor jemand davon erfährt – meist von außen.
Deshalb gehört zu jeder Einführung ein Satz, den die Geschäftsführung aussprechen muss und nicht die IT: Wer einen Fehler meldet, hat richtig gehandelt. Dazu eine Stelle, an die gemeldet wird, und eine Liste, in der die Meldungen stehen. Nach drei Monaten haben Sie damit etwas, das kein Anbieter liefern kann: eine Fehlerstatistik aus Ihrem eigenen Haus, mit der sich entscheiden lässt, wo die Prüfung gelockert und wo sie verschärft gehört.
Was das im Mentoring bedeutet
Die Prüftiefe wird in der Phase REALISIERUNG festgelegt, wenn der Pilot läuft, und im Werkzeug Pilot-Steckbrief festgehalten – zusammen mit der Frage, wer prüft und wie lange das dauert. Die Fehlermeldungen aus den ersten Wochen sind die wichtigste Messgröße des ganzen Vorhabens, siehe Den Piloten messen. Wer keine Fehler findet, hat nicht hingesehen.
Häufige Fragen
Werden Halluzinationen nicht mit jeder Modellgeneration verschwinden?
Sie werden seltener, und das ist messbar. Verschwinden werden sie nicht, solange die Technik auf Wahrscheinlichkeiten beruht – ein Modell, das antworten soll, wird eine Antwort bilden, auch wenn es die Grundlage nicht hat. Was sich verändert, ist die Fehlerquote; was bleibt, ist die Notwendigkeit, dass ein Mensch verantwortet, was hinausgeht. Planen Sie mit der Prüfung, nicht mit ihrem Wegfall.
Hilft es, dem Modell zu sagen, es solle nicht halluzinieren?
Ein wenig, aber viel weniger als erhofft. Deutlich wirksamer sind drei andere Dinge: dem Modell die nötigen Unterlagen mitzugeben, es ausdrücklich zu „weiß ich nicht“ zu ermächtigen, und Aufgaben so zu stellen, dass eine Erfindung sofort auffällt – etwa durch die Pflicht, jede Aussage mit einer Fundstelle zu belegen.
Woran erkennt man eine Halluzination, wenn man das Thema selbst nicht kennt?
An drei Merkmalen, die erstaunlich zuverlässig sind. Erstens: ungewöhnlich glatte, allgemeine Formulierungen ohne Details. Zweitens: Zahlen ohne Zeitangabe und ohne Quelle. Drittens: Quellenangaben, die nicht anklickbar sind oder beim Anklicken nicht das enthalten, was behauptet wurde. Wer nur das dritte Merkmal konsequent prüft, fängt den größten Teil der gefährlichen Fälle.