KI-Projekte dauern zwei- bis dreimal länger als geplant, weil Teams die Demo schätzen, die sichtbaren 20%, und den Eisberg, Evals, Datenbereinigung, Edge Cases, Guardrails, im dritten Produktionsmonat entdecken. Das ist kein Pessimismus und keine Inkompetenz; es ist ein systematischer Schätzfehler, der sich wiederholt, weil die Demo so schnell kommt, dass sie die Erwartungen aller in die falsche Richtung kalibriert. Der Fix ist kein Puffer. Er heißt: den Eisberg explizit planen.
Der Eisberg, aufgeschlüsselt
- Eval-Aufbau: echte Fälle sammeln, „gut“ definieren, Outputs bewerten, Wochen, und er ist das Gate für alles andere.
- Datenrealität: Die „sauberen“ Daten haben Duplikate, Lücken, Format-Drift und Berechtigungsfragen, die niemand verantwortet hat.
- Der Edge-Case-Long-Tail: Die Demo bediente zehn Happy Paths; die Produktion hat zehntausend, einzeln billig, in Summe brutal.
- Guardrails und Fehlerbehandlung: Was bei falschem Output passiert, ist eine Produktentscheidung, dann ein Engineering-Aufwand.
- Integration und Berechtigungen: die Verdrahtung mit echten Systemen, Auth, Logging, Kostenkontrollen, in der Demo unsichtbar, für den Launch Pflicht.
- Nichtdeterminismus-Steuer: Jeder Fix muss gegen das gesamte Eval-Set neu verifiziert werden, weil Verbesserungen andere Fälle regressieren.
Warum kluge Teams es trotzdem übersehen
- Die Geschwindigkeit der Demo verankert alle: Wenn 80% zwei Tage gedauert haben, fühlen sich 100% wie eine Woche entfernt an. Die Kurve biegt sich in die andere Richtung.
- Klassische Software-Intuition nimmt an, dass Qualität linear mit Aufwand steigt; Modellqualität plateaut und wehrt sich.
- Niemand budgetiert Evals, weil niemand je gebeten wurde, „gut genug“ vor dem Kickoff numerisch zu definieren.
So planen Sie ehrlich
- 1Bauen Sie zuerst das Eval-Set und schreiben Sie es als benannten Workstream mit Owner in den Plan.
- 2Multiplizieren Sie Ihr demo-basiertes Bauchgefühl mit 2,5, das ist kein Puffer, das ist die beobachtete Basisrate.
- 3Planen Sie Qualität als Iterationszyklen („sechs Eval-Verbesserungs-Schleifen“) statt als Datum, an dem Qualität eintritt.
- 4Liefern Sie an der ehrlichen Messlatte mit Guardrails und menschlichem Fallback, und verbessern Sie dann in der Produktion, auf 99% zu warten ist, wie Projekte sterben.
- 5Berichten Sie Fortschritt in Eval-Scores, nicht in Prozent-fertig, das ist die einzige Zahl, die nicht lügt.