Einen Piloten aufsetzen und messen
Die Messung kommt vor dem Start
Der häufigste Fehler bei KI-Piloten ist weder die falsche Technik noch der falsche Anwendungsfall. Er ist banaler: Der Pilot läuft, die Beteiligten sind zufrieden, und niemand kann sagen, wie es vorher war. Damit ist der Versuch nicht auswertbar. Was bleibt, sind Eindrücke, und Eindrücke entscheiden keine Investition.
Die Ausgangsmessung ist deshalb kein vorbereitender Schritt, sondern der erste Schritt. Sie findet statt, bevor irgendjemand das Werkzeug zu sehen bekommt, und sie misst genau die Größe, die später verglichen werden soll. Dauert die Erstellung eines Angebots heute im Mittel 95 Minuten, muss diese Zahl aus gezählten Vorgängen stammen, nicht aus einer Einschätzung des Vertriebsleiters. Geschätzte und gezählte Bearbeitungszeiten liegen erfahrungsgemäß deutlich auseinander, und zwar in beide Richtungen.
Zwei bis vier Wochen Zählen reichen in der Regel aus. Das Verfahren darf primitiv sein: ein Formular mit Datum, Vorgangsart, Startzeit, Endzeit, Besonderheiten. Wichtig ist nur, dass die Person zählt, die die Arbeit macht, und dass klar definiert ist, wo der Vorgang beginnt und endet. Genau diese Definition ist der Teil, der am meisten Diskussion erzeugt und am wichtigsten ist – zählt das Suchen der Unterlagen mit, zählt die Rückfrage beim Kunden mit? Beide Antworten sind vertretbar, aber sie müssen vorher und nachher dieselbe sein.
Ein Nebeneffekt der Ausgangsmessung ist oft wertvoller als der Pilot selbst: Sie zeigt, wie die Arbeit tatsächlich abläuft. In einem Ingenieurbüro, das die Bearbeitungszeit für Prüfberichte erhebt, stellt sich womöglich heraus, dass nicht das Schreiben die Zeit kostet, sondern das Beschaffen fehlender Angaben. Dann ist der geplante Anwendungsfall der falsche, und das weiß man vor der Investition statt danach.
Was einen Piloten zu einem Piloten macht
Ein guter Pilot ist scharf begrenzt, und zwar in vier Dimensionen: ein Ablauf, eine Abteilung, ein Zeitraum, eine Zahl.
Ein Ablauf heißt: nicht „KI im Vertrieb", sondern „der technische Teil des Angebots aus dem Gesprächsprotokoll". Sobald zwei Abläufe gleichzeitig verändert werden, lässt sich eine Wirkung nicht mehr zuordnen. Eine Abteilung heißt: ein überschaubarer, benannter Personenkreis, der die Sache ernsthaft nutzt – nicht zwölf Freiwillige quer durchs Haus, von denen sechs es nach zwei Wochen vergessen. Ein Zeitraum heißt: Startdatum und Enddatum stehen fest, bevor es losgeht, und das Enddatum ist ein Termin im Kalender mit Teilnehmern. Eine Zahl heißt: Es gibt eine einzige Kennzahl, an der der Pilot gemessen wird, und höchstens zwei Nebengrößen, die mitlaufen.
Die Beschränkung auf eine Zahl fällt schwer, weil ein Anwendungsfall meist mehrere Wirkungen verspricht. Trotzdem ist sie richtig. Wer drei gleichrangige Kennzahlen aufstellt, findet am Ende immer eine, die sich gut entwickelt hat, und argumentiert mit dieser. Die Hauptkennzahl sollte die Größe sein, die auch im Business Case steht – meist Bearbeitungszeit je Vorgang oder Durchlaufzeit, gelegentlich Fehler- oder Rückfragequote. Als Nebengrößen eignen sich die Ausnahmequote, also der Anteil der Vorgänge, die das Werkzeug nicht sauber bearbeitet, und der Prüfaufwand je Vorgang.
Dazu gehört ein Punkt, der im Eifer untergeht: Der alte Ablauf bleibt während des Piloten verfügbar. Ein Pilot, den man nicht abschalten kann, ohne den Betrieb anzuhalten, ist keiner.
Das Abbruchkriterium wird vorher aufgeschrieben
Vor dem Start gehört ein Satz auf das Papier, der beschreibt, wann der Versuch beendet wird. Nicht als Pessimismus, sondern weil dieser Satz hinterher nicht mehr ehrlich formuliert werden kann. Wer sechs Wochen Arbeit, Einarbeitung und öffentliche Ankündigung investiert hat, findet immer Gründe weiterzumachen.
Brauchbare Abbruchkriterien sind konkret und beziehen sich auf die Hauptkennzahl oder auf eine Sicherheitsgrenze. Beispiele für die Formulierung: Wenn die Bearbeitungszeit nach sechs Wochen nicht um mindestens zwanzig Prozent unter dem Ausgangswert liegt, wird der Pilot beendet. Wenn die Ausnahmequote über dreißig Prozent liegt, wird beendet. Wenn ein fehlerhaftes Ergebnis den Betrieb verlässt, wird sofort angehalten und geprüft, bevor es weitergeht.
Zum Abbruchkriterium gehört das Gegenstück: die Bedingung, unter der der Pilot in den Regelbetrieb übergeht. Auch diese sollte vorher stehen, sonst läuft der Pilot in einem Zwischenzustand weiter – genutzt, aber nicht entschieden, nicht dokumentiert, nicht geschult. Dieser Zwischenzustand ist der Normalfall in Betrieben, die mit KI nicht vorankommen, und er ist in Vom Piloten in den Alltag näher beschrieben.
Wer misst, wie oft, womit
Messung braucht eine benannte Person, nicht eine zuständige Abteilung. Sinnvoll ist jemand aus dem betroffenen Bereich mit einem klar begrenzten Zeitbudget – eine halbe Stunde in der Woche genügt für die meisten Piloten. Diese Person sammelt die Zahlen, führt die Liste der Ausnahmen und meldet Auffälligkeiten.
Der Rhythmus sollte wöchentlich sein, nicht täglich und nicht erst am Ende. Wöchentlich deshalb, weil einzelne Tage zu stark schwanken und ein Monatsabstand zu spät wäre, um gegenzusteuern. In den ersten zwei Wochen sind die Zahlen ohnehin schlechter als danach; das ist Einarbeitung und kein Grund zur Sorge, sollte aber getrennt ausgewiesen werden.
Das Werkzeug zur Messung darf schlicht sein, und es sollte schlicht sein. Eine Tabelle mit einer Zeile je Vorgang trägt jeden Piloten im Mittelstand. Wo Systemdaten vorliegen – Zeitstempel aus dem ERP, Ticketlaufzeiten, Tourabschlüsse aus der Disposition –, sind diese der Handzählung vorzuziehen, weil sie ohne Zusatzaufwand entstehen und nicht vergessen werden. In einer Spedition, die die Zeit von der Ankunft des Frachtpapiers bis zur Rechnungsstellung misst, stehen beide Zeitpunkte bereits im System.
Neben den Zahlen gehört ein kurzes Ausnahmeprotokoll dazu: welcher Vorgang lief nicht durch, und warum. Dieses Protokoll ist später oft wertvoller als die Durchschnittswerte, weil es sagt, was am Zuschnitt des Anwendungsfalls zu ändern ist.
Warum Zufriedenheit keine Messgröße ist
„Die Kollegen sind zufrieden" ist die häufigste Auskunft am Ende eines Piloten und die schwächste. Das liegt nicht daran, dass Zufriedenheit unwichtig wäre, sondern an drei Eigenschaften dieser Auskunft.
Erstens ist sie bei neuen Werkzeugen systematisch zu positiv. Neues macht Freude, Beteiligte wollen das Projekt nicht beschädigen, und wer gefragt wird, weiß, welche Antwort erwartet wird. Zweitens ist sie nicht vergleichbar: Es gibt keinen Ausgangswert für Zufriedenheit, also lässt sich keine Veränderung zeigen. Drittens – und das ist der eigentliche Punkt – kann sie im Widerspruch zur Wirkung stehen. Ein Werkzeug, das die Arbeit angenehmer macht, aber keine Zeit spart, hat einen Wert; nur ist es nicht der Wert, mit dem der Business Case gerechnet wurde.
Trotzdem gehört die Einschätzung der Beteiligten erhoben – nur nicht als Erfolgsmaß, sondern als Diagnose. Nützlich sind zwei Fragen, deren Antworten man aufschreibt statt sie zu zählen: An welcher Stelle haben Sie das Werkzeug umgangen, und warum? Und: Was müssten Sie ändern, damit Sie es dauerhaft nutzen würden? Die erste Frage findet die Schwachstelle im Zuschnitt, die zweite den Punkt, an dem die Einführung hakt. Beide Antworten sind für die Entscheidung wichtiger als eine Note auf einer Skala von eins bis fünf.
Was das im Mentoring bedeutet
Der Pilot ist Gegenstand der Phase REALISIERUNG. Das Arbeitsinstrument Pilot-Steckbrief und Wirkungsmessung hält auf einer Seite fest, welcher Ablauf betroffen ist, wer teilnimmt, in welchem Zeitraum, welche Kennzahl gemessen wird, wie hoch der Ausgangswert ist und welches Abbruchkriterium gilt. Der Ausgangswert wird im laufenden Mentoring vor dem Start erhoben, nicht rekonstruiert. Am Ende der Phase steht eine Entscheidung: Regelbetrieb, Nachbesserung oder Abbruch.
Häufige Fragen
Wie lange sollte ein Pilot laufen?
Vier bis acht Wochen sind für die meisten Anwendungsfälle im Mittelstand angemessen. Kürzer ist die Zahl von der Anfangsbegeisterung verfälscht, länger verliert der Pilot seinen Charakter als Versuch und wird stillschweigend zum Dauerzustand. Entscheidend ist weniger die Dauer als die Menge – der Zeitraum muss genug Vorgänge enthalten, damit ein Durchschnitt aussagekräftig ist.
Was, wenn wir den Vorher-Wert nicht mehr erheben können, weil das Werkzeug schon läuft?
Dann gibt es zwei Behelfe, beide schwächer als eine echte Ausgangsmessung. Erstens eine Vergleichsgruppe, also eine Abteilung oder ein Standort, der vorerst weiterarbeitet wie bisher. Zweitens eine rückwirkende Auswertung vorhandener Systemdaten, etwa Durchlaufzeiten aus dem ERP. Eine Schätzung aus der Erinnerung ist kein Ersatz, denn sie fällt regelmäßig zugunsten des gerade eingeführten Werkzeugs aus.
Muss ein Pilot alle Beteiligten einschließen?
Nein, und es ist meist besser, wenn er es nicht tut. Ein Pilot mit drei bis acht Personen in einer Abteilung lässt sich betreuen, auswerten und notfalls abbrechen. Wer gleich den ganzen Betrieb einbezieht, hat keinen Piloten mehr, sondern eine Einführung, und kann eine ungünstige Entscheidung nur noch unter Gesichtsverlust zurücknehmen.