Wie ein Sprachmodell arbeitet

Token: wie ein Modell Text zerlegt

Ein Sprachmodell liest keine Wörter, sondern Token. Ein Token ist ein Textstück, das mal einem ganzen Wort entspricht, mal einer Silbe, mal nur einem Satzzeichen. Im Deutschen fällt die Zerlegung feiner aus als im Englischen, weil unsere Komposita – Instandhaltungsvertrag, Vorsteuerabzugsberechtigung – in mehrere Stücke zerfallen.

Das ist aus zwei Gründen praktisch relevant. Erstens rechnen fast alle Anbieter nach Token ab, nicht nach Seiten. Deutscher Text kostet bei gleicher Aussage etwas mehr als englischer. Zweitens erklärt die Zerlegung eine Schwäche, die immer wieder auffällt: Aufgaben, die auf einzelne Buchstaben zielen – Zeichen zählen, buchstabieren, eine Artikelnummer exakt wiedergeben – sind für ein Modell mühsam, weil es die Buchstaben gar nicht einzeln sieht. Wer im technischen Großhandel Artikelnummern durch ein Sprachmodell schleust, sollte sie anschließend maschinell gegen den Stammdatensatz prüfen.

Das Kontextfenster ist das Kurzzeitgedächtnis

Alles, was ein Modell bei einer Antwort berücksichtigt, muss in seinem Kontextfenster stehen: Ihre Frage, die vorangegangenen Nachrichten der Sitzung, angehängte Dokumente und die Antwort, die gerade entsteht. Das Fenster ist begrenzt. Wie groß es ist, unterscheidet sich stark je nach Modell und ändert sich mit jeder Generation; die Größenordnung reicht heute von einigen tausend bis zu mehreren hunderttausend Token.

Entscheidend ist, was passiert, wenn es voll wird. Das Modell bekommt keine Fehlermeldung, sondern es wird gekürzt – in der Regel fällt das Älteste heraus. Wer ein langes Gespräch führt, erlebt dann, dass Vorgaben vom Anfang plötzlich nicht mehr befolgt werden. Das wirkt wie Unaufmerksamkeit, ist aber schlicht Platzmangel.

Genauso wichtig: Das Kontextfenster ist kein Gedächtnis über Sitzungen hinweg. Eine neue Sitzung beginnt leer. Was ein Ingenieurbüro dem Modell gestern über seine Berichtsstruktur beigebracht hat, ist heute weg, wenn es nicht in einer Vorlage, einer gespeicherten Anweisung oder einem angebundenen Dokument steht. Dass viele Oberflächen inzwischen ein „Gedächtnis" anbieten, ändert daran nichts Grundsätzliches – dahinter steht ein Speicher, aus dem Text zurück ins Fenster kopiert wird.

Warum dieselbe Frage zweimal anders beantwortet wird

Bei jedem Schritt berechnet das Modell für sehr viele mögliche nächste Token eine Wahrscheinlichkeit. Es muss sich für eines entscheiden. Nähme es immer das wahrscheinlichste, wären die Antworten gleichförmig, oft hölzern und neigten zu Wiederholungen. Deshalb wird gewürfelt, und wie stark gewürfelt wird, steuert ein Parameter, der meist Temperatur heißt.

Niedrige Temperatur heißt: nahezu immer die wahrscheinlichste Fortsetzung. Das Ergebnis ist berechenbar und nüchtern – die richtige Einstellung, wenn aus Freitext strukturierte Daten gezogen werden oder eine Auskunft eng am Ausgangstext bleiben soll. Hohe Temperatur heißt mehr Variation, was bei Ideensammlungen und Textvarianten hilft und bei Sachauskünften schadet.

In den meisten Chatoberflächen ist dieser Regler nicht sichtbar, sondern auf einen mittleren Wert voreingestellt. Sichtbar wird er, sobald man über eine Programmierschnittstelle arbeitet. Und auch bei niedrigster Einstellung sind zwei Antworten nicht garantiert Wort für Wort identisch – die Rechenumgebung selbst erzeugt kleine Abweichungen. Für den Betrieb heißt das: Verlassen Sie sich nie darauf, dass ein Ablauf zweimal exakt dasselbe liefert. Wo Gleichförmigkeit zählt, erzwingt man sie über Vorlagen und feste Formate, nicht über Hoffnung.

Halluzination und der Stichtag des Wissens

Halluzination nennt man es, wenn ein Modell etwas Falsches mit der Sicherheit des Richtigen ausgibt: einen Paragraphen, den es nicht gibt, eine Norm mit falscher Nummer, eine Quelle, die nie erschienen ist. Der Begriff ist unglücklich, weil er nach Störung klingt. Tatsächlich ist es derselbe Vorgang wie bei jeder anderen Antwort. Das Modell setzt ein Muster fort. Wenn es die Antwort nicht kennt, setzt es das Muster trotzdem fort, denn Schweigen ist keine wahrscheinliche Fortsetzung einer Frage. Das ist der Grundsatz „Wahrscheinlichkeit statt Wahrheit", den Was künstliche Intelligenz ist – und was sie nicht ist ausführt, in seiner unangenehmsten Ausprägung.

Verstärkt wird das durch den Stichtag: Der Trainingstext jedes Modells endet an einem bestimmten Datum. Was danach passiert ist – ein neuer Fördertatbestand, eine geänderte Norm, ein Urteil, Ihre neue Preisliste –, ist dem Modell unbekannt. Es sagt das aber nicht unbedingt, sondern antwortet aus dem Stand von damals. Systeme mit Internetzugriff oder Anbindung an eigene Unterlagen mildern das; sie ändern aber nichts daran, dass man bei zeitkritischen Auskünften die Quelle sehen will.

Das Gegenmittel ist immer dasselbe und hat wenig mit Technik zu tun: Material mitgeben statt abfragen. Wer den fraglichen Vertragstext in die Anfrage kopiert, bekommt eine Antwort aus diesem Text. Wer ohne Material fragt, bekommt eine Antwort aus dem statistischen Durchschnitt aller Verträge, die je im Internet standen.

Was das für Angebote, Protokolle und Auskünfte heißt

Drei typische Aufgaben, drei verschiedene Konsequenzen.

Angebote. Ein Sprachmodell formuliert den Begleittext gut und die Zahlen schlecht. Der tragfähige Zuschnitt: Positionen, Mengen und Preise kommen aus der Warenwirtschaft, das Modell schreibt die Einleitung, die Leistungsbeschreibung und die Abgrenzung. Ein Sondermaschinenbauer gewinnt damit Zeit an der Stelle, die ihn tatsächlich aufhält – der technischen Beschreibung in Kundensprache –, ohne die Kalkulation zu gefährden.

Protokolle. Hier sind Modelle stark, weil das Material vollständig vorliegt und die Aufgabe im Verdichten besteht, nicht im Wissen. Der Fehler, der hier passiert, ist ein anderer: Aussagen werden der falschen Person zugeordnet oder eine unverbindliche Bemerkung wird zur Zusage. Deshalb gehört die Freigabe an die Person, die im Termin war, und offene Punkte sollten als solche markiert bleiben statt geglättet zu werden.

Auskünfte. Das ist der heikelste Fall. Eine Versicherungsmaklerin, die Deckungsfragen beantwortet, eine Steuerberatung, die zu Fristen Auskunft gibt, eine ambulante Pflege, die Leistungsansprüche erklärt – hier ist eine falsche Antwort nicht nur unangenehm, sondern haftungsrelevant. Brauchbar wird es nur mit Anbindung an die eigenen, gepflegten Unterlagen und mit einer Ausgabe, die die Fundstelle mitliefert. Ohne Fundstelle keine Auskunft nach außen. Wie so eine Anbindung aussieht, steht in Eigene Unterlagen nutzbar machen.

Was das im Mentoring bedeutet

Diese fünf Begriffe sind der Kern des Kursmoduls der Phase WISSEN, weil sie jede spätere Bewertung tragen: Wer den Stichtag und das Kontextfenster verstanden hat, erkennt bei einem vorgeschlagenen Einsatz sofort, ob er ohne angebundene Quellen überhaupt funktionieren kann. In der Einsatz-Landkarte wird deshalb zu jeder Aufgabe vermerkt, woher das Material kommt und wer das Ergebnis freigibt.