Evals sind das Management-Tool für KI-Systeme: Ein bewertetes Test-Set verwandelt „die KI scheint okay zu sein“ in eine Zahl, auf die eine Führungskraft ein Ziel setzen kann – genau wie bei einem OKR. Wenn ein System fürs Geschäft zählt, sollte es ein Eval haben, ein Ziel und einen Owner, der darüber berichtet – dieselbe Disziplin, die Sie bei Umsatz oder Uptime anwenden.
Warum sich Manager für Evals interessieren sollten
Ohne Eval wird ein KI-System per Anekdote gemanagt: Die lauteste Beschwerde oder die beste Demo gewinnt. Mit einem Eval können Sie die drei Fragen beantworten, die Führung tatsächlich hat – ist es gut genug, wird es besser, und hat die Änderung von letzter Woche es verschlechtert.
Ein KI-OKR schreiben
- Objective: das Geschäftsergebnis („Support-Entwürfe, die Kunden akzeptieren“).
- Key Result: die Eval-Metrik mit Ziel („Entwurfs-Akzeptanz ≥ 85 % auf dem Golden Set bis Q3“).
- Baseline zuerst: Messen Sie, bevor Sie das Ziel setzen, nicht danach.
- Gegenmetrik: Koppeln Sie Qualität an Kosten oder Latenz, damit Sie nicht das eine auf Kosten des anderen optimieren.
- Owner: ein Name, der für die Zahl verantwortlich ist – mit der Befugnis, das System zu ändern.
Der Review-Takt
- Wöchentlich: Owner scannen Scores und Ausnahme-Queues.
- Monatlich: Eval-Scores erscheinen im Operating Review neben Umsatz und Churn.
- Bei jeder Änderung: Kein Prompt-, Modell- oder Retrieval-Change shippt ohne einen Vorher-Nachher-Eval-Lauf.
- Quartalsweise: Frischen Sie das Test-Set auf, damit es weiter den echten Traffic abbildet.