Ihr KI-Pilot ist gescheitert, weil ihn niemand verantwortet und nichts ihn gemessen hat, nicht weil das Modell nicht gut genug war, und für den nächsten Piloten das Modell zu tauschen reproduziert das Scheitern mit einer größeren Rechnung. Wir haben dieses Muster oft genug gesehen, um es als Regel zu formulieren: Piloten ohne einen einzelnen rechenschaftspflichtigen Owner und einen schriftlichen Evaluationsstandard sterben nicht dramatisch, sie werden einfach nie etwas.
Die Standard-Obduktion
Führen Sie das Post-Mortem ehrlich durch, und jedes Mal tauchen dieselben Ursachen auf. Beachten Sie, was auf dieser Liste fehlt: das Modell.
- Kein einzelner Owner: Ein „Innovationsteam“ hat es gebaut, ein Produktteam sollte es übernehmen, und niemand war für die Produktion rechenschaftspflichtig.
- Keine Evals: Erfolg war „die Demo sah beeindruckend aus“, das ist keine Messlatte, an der irgendetwas bestehen oder scheitern kann.
- Kein Ziel-Workflow: Es automatisierte eine Aufgabe, an der niemand blockiert war, also hat niemand dafür gekämpft.
- Kein Produktionsplan: Fragen zu Security, Datenzugriff und Kosten kamen nach der Demo, als Hinterhalte.
- Kein Fehlerbudget: Für den ersten peinlichen Output gab es keinen vereinbarten Prozess, also hat jemand Seniores es einfach abgeschaltet.
Warum Evals der Unterschied zwischen Demo und Produkt sind
- Ein Eval-Set ist ein Vertrag: Hier sind 200 echte Fälle, hier ist der Score, den wir brauchen, hier ist, wer abnimmt.
- Es verwandelt „die KI wirkt manchmal falsch“ in eine Zahl, die sich Woche für Woche verbessern kann.
- Es überlebt Modellwechsel, Sie können Modelle an einem Nachmittag upgraden, weil die Messlatte schriftlich festgehalten ist.
- Es erzwingt das unbequeme Gespräch, welche Genauigkeit ist akzeptabel?, vor dem Launch statt nach dem Incident.
So fahren Sie den nächsten stattdessen
- 1Benennen Sie einen Owner, der den Piloten in die Produktion trägt, festgeschrieben in seinen Zielen.
- 2Wählen Sie einen Workflow, in dem heute jemand messbar blockiert ist oder Stunden verliert.
- 3Bauen Sie das Eval-Set, bevor Sie das Feature bauen: echte Inputs, bewertete Outputs, eine Bestehensgrenze.
- 4Vereinbaren Sie die Produktionskriterien, Score, Kostendeckel, Security-Abnahme, beim Kickoff.
- 5Timeboxen Sie auf sechs Wochen. Bestandene Piloten gehen live; durchgefallene werden beendet und dokumentiert. Kein dritter Zustand.