Prüfen Sie KI-Engineers in vier Stufen: einem Evidenz-Screen gelieferter Arbeit, einer realistischen Arbeitsprobe, einem Gespräch zur Systemtiefe und einem kurzen Team-Fit-Probelauf. In dieser Reihenfolge filtert jede Stufe günstig vor der nächsten, und der gesamte Loop passt in eine Woche, ohne die Messlatte zu senken.
Die vier Stufen
- 1Evidenz-Screen (30 Min., auf dem Papier): gelieferte KI-Arbeit in Produktion, keine Demos; konkrete Zahlen (Genauigkeit, Kosten, Latenz, Nutzer); klarer individueller Beitrag. Bestanden: mindestens ein System, das sie end-to-end verantwortet haben, mit Ergebnissen, die sie quantifizieren können.
- 2Arbeitsprobe (2-4 Stunden, zeitlich begrenzt): eine realistische Aufgabe in der Form Ihres Produkts, z. B. eine fehlschlagende RAG-Pipeline mit kleinem Eval-Set diagnostizieren und verbessern. Bewertung nach schriftlicher Rubrik: Diagnose vor Fixes, Messung, Codequalität, Kommunikation. Bestanden: eine vertretbare Verbesserung plus Belege, dass sie gemessen wurde.
- 3Systemtiefe (60-90 Min. Gespräch): eines ihrer früheren Systeme end-to-end durchgehen, Daten, Evals, Failure Modes, Kosten, was kaputtging und was sie geändert haben. Bohren Sie bei Trade-offs nach. Bestanden: spezifische, ehrliche, zahlenfeste Antworten; sie können „Ich weiß es nicht“ sagen und von dort aus argumentieren.
- 4Team-Fit-Probelauf (halber Tag bis 5 Tage): Pairing an echter Arbeit mit dem Pod, dem sie beitreten würden, ein PR-Review, ein kleines Feature planen. Bestanden: Der Pod will sie zurück, die Kommunikation ist klar, und sie hinterlassen die Dinge besser dokumentiert, als sie sie vorgefunden haben.
Regeln, die die Checkliste ehrlich halten
- Schreiben Sie die Bestehenskriterien, bevor Sie den Kandidaten treffen; passen Sie sie nie pro Person an.
- Bezahlen Sie alles über 4 Stunden Kandidatenzeit hinaus, unbezahlte einwöchige „Tests“ selektieren auf die Verzweifelten, nicht die Besten.
- Lassen Sie den arbeitenden Pod die Probe bewerten, nicht nur den Hiring Manager.
- Entscheiden Sie binnen 48 Stunden nach der letzten Stufe; ein großartiger Vetting-Loop wird durch ein langsames Ja verschwendet.
- Verfolgen Sie die Ergebnisse: Prüfen Sie die Rubrik quartalsweise daran, wie sich Einstellungen tatsächlich bewährt haben.
