Die Bewertung eines KI-Vendors läuft auf zwölf Fragen in vier Bereichen hinaus: was mit Ihren Daten passiert, was das Produkt unter der Demo tatsächlich ist, wie Qualität gemessen wird und was der Ausstieg kostet. Ein Vendor mit guten Antworten in allen vier Bereichen ist selten – genau deshalb lohnt sich das Fragen.
Die 12 Fragen
| Bereich | Frage | Alarmsignal als Antwort |
|---|---|---|
| Daten | Werden unsere Daten zum Training Ihrer Modelle verwendet? | Vage oder „nur zur Verbesserung des Services“ |
| Daten | Wo werden Daten verarbeitet und gespeichert? | Kann weder Regionen noch Subprozessoren nennen |
| Daten | Können wir unsere Daten löschen und das verifizieren? | Löschung „auf Anfrage“ ohne SLA |
| Produkt | Was bricht, wenn Ihr Modellanbieter die Bedingungen ändert? | Keine Antwort; eine einzige harte Abhängigkeit |
| Produkt | Was ist proprietär jenseits der Prompt-Schicht? | Demo-Ware: dünner Wrapper, keine Workflow-Tiefe |
| Produkt | Können wir auf unseren eigenen Daten pilotieren? | Nur Demo, oder der Pilot verlangt den vollen Vertrag |
| Qualität | Wie messen Sie die Output-Qualität? | Kein Eval-Prozess, nur Testimonials |
| Qualität | Wie gehen Sie mit halluziniertem Output um? | „Unser Modell halluziniert nicht“ |
| Qualität | Welche Human-Review-Kontrollen gibt es? | Alles-oder-nichts-Automatisierung |
| Exit | Was umfasst der Datenexport? | Nur Rohdaten, keine Konfigurationen oder Historie |
| Exit | Was sind die Vertragsbedingungen, wenn die Qualität nachlässt? | Überhaupt keine Qualitätszusagen |
| Exit | Was kostet der Wechsel tatsächlich? | Sie können kein Offboarding beschreiben |
Wie Sie den Pilot durchführen
- Nutzen Sie Ihre echten, unordentlichen Daten – die Demo-Daten sind per Definition kuratiert.
- Definieren Sie Pass/Fail, bevor der Pilot startet, nicht nachdem Sie Ergebnisse gesehen haben.
- Nehmen Sie Ihre 20 härtesten Fälle auf – bei den Edge Cases unterscheiden sich Vendoren.
- Lassen Sie die Leute testen, die täglich damit arbeiten werden, nicht das Einkaufskomitee.
