Ein AI Operating Review ist ein monatliches einstündiges Meeting, in dem jeder produktive KI-Workflow anhand von vier Zahlen geprüft wird: Qualität (Eval-Score), Kosten pro Durchlauf, Volumen und Incidents – jeweils präsentiert vom Owner. Es ist dasselbe Ritual, das Sie bereits für Umsatz und Uptime fahren, erweitert auf die Systeme, die inzwischen echte Arbeit leisten.
Die Agenda (60 Minuten)
- 1Scorecard-Scan (10 Min.): alle Workflows auf einer Seite – Qualität, Kosten pro Durchlauf, Volumen, Incidents – gegen den Vormonat.
- 2Ausnahmen (20 Min.): alles, was regressiert ist, in den Kosten explodiert ist oder einen Incident hatte – der Owner erklärt, die Gruppe entscheidet.
- 3Deep Dive (15 Min.): ein Workflow pro Monat gründlich untersucht, rotierend.
- 4Pipeline (10 Min.): was vom Pilot in die Produktion wandert – und welcher Pilot beendet wird.
- 5Entscheidungen (5 Min.): schriftlich festgehalten, mit Ownern und Terminen. Keine Entscheidungen, kein Meeting im nächsten Monat.
Die vier Spalten der Scorecard
- Qualität: der Eval-Score gegen sein Ziel – das OKR des Systems.
- Kosten pro Durchlauf: Gesamtausgaben geteilt durch abgeschlossene Durchläufe – beobachten Sie den Trend, nicht den Absolutwert.
- Volumen: Durchläufe pro Monat – Adoption ist eine Gesundheitsmetrik, ungenutzte Automatisierung ist stilles Scheitern.
- Incidents: falsche Outputs, die einen Kunden oder eine Entscheidung erreicht haben – mit dem, was sich seither geändert hat.
Wie das Ritual stirbt (vermeiden Sie das)
- Demo-Stunde: neue Spielzeuge zeigen, statt laufende Systeme zu reviewen.
- Keine Kill-Entscheidungen: Ein Review, das nie einen Workflow in Rente schickt, reviewt nicht.
- Metriken ohne Owner: Ein Dashboard, das niemand präsentiert, ist ein Dashboard, das niemand repariert.
- Ruhige Monate überspringen – Drift ist per Definition leise.