Der beste Weg, KI-Engineers zu interviewen, ist eine kleine, bezahlte oder zeitlich begrenzte Take-Home-Aufgabe, die den echten Job spiegelt – etwa ein LLM-Feature bauen und evaluieren –, denn Arbeitsproben sagen Leistung deutlich besser voraus als Algorithmus-Puzzles. Leetcode testet auswendig gelernte Muster; KI-Arbeit belohnt Urteilsvermögen unter Ambiguität.
Die Aufgabe designen
- Wählen Sie einen Ausschnitt Ihrer echten Arbeit: Support-Tickets klassifizieren, Felder aus unordentlichen Dokumenten extrahieren, einen kleinen RAG-Antworter bauen.
- Verlangen Sie ein Eval: ein kleines gelabeltes Set und eine Metrik – wie Kandidaten messen, ist das reichhaltigste Signal.
- Stellen Sie die langweiligen Teile bereit (Daten, Boilerplate), damit die Stunden in Urteilsvermögen fließen, nicht in Setup.
- Begrenzen Sie den Scope explizit: „Wir erwarten raue Kanten; dokumentieren Sie Trade-offs, statt alles zu fixen.“
- Erlauben Sie KI-Coding-Tools – Sie stellen dafür ein, wie jemand 2026 arbeitet, nicht 2019.
Das Debrief führen
- 1Bitten Sie darum, Entscheidungen durchzugehen, nicht den Code Zeile für Zeile.
- 2Ändern Sie live eine Anforderung: „Das Latenz-Budget hat sich gerade halbiert – was streichen Sie?“
- 3Fragen Sie, was sie mit zwei zusätzlichen Tagen tun würden – Priorisierung offenbart Seniorität.
- 4Hinterfragen Sie das Eval: Warum diese Metrik, welche Fälle übersieht sie?
Fairness sicherstellen
- Gleiche Aufgabe, gleiche Rubrik, gleiches Zeitlimit für alle Kandidaten.
- Bewerten Sie wo möglich anonym, bevor das Debrief stattfindet.
- Vergüten Sie längere Aufgaben oder kürzen Sie sie – Senior-Kandidaten winken bei kostenlosen 10-Stunden-Projekten ab.
- Nutzen Sie Einreichungen nie als Gratisarbeit; halten Sie Aufgaben synthetisch oder auf Spielzeugdaten.
