Um einen Engineer für KI-Agenten einzustellen, testen Sie auf Systems-Skills, nicht auf Prompt-Tricks: Tool-Design, State-Management, Fehlerbehandlung und Evals sind es, die Engineers, die zuverlässige Agenten shippen, von denen trennen, die sie nur demonstrieren. Agentische Systeme scheitern in Loops und Edge Cases – also muss auch die Hiring-Messlatte dort liegen.
Die Skills, die wirklich zählen
- Tool- und API-Design: saubere, typisierte Schnittstellen, die das Modell zuverlässig aufrufen kann.
- State- und Memory-Management über mehrstufige Runs hinweg.
- Fehlerbehandlung: Retries, Fallbacks und das Wissen, wann an einen Menschen übergeben wird.
- Evals für Agentenverhalten, nicht nur für die Qualität einzelner Antworten.
- Kosten- und Latenz-Budgetierung – Agenten multiplizieren Token-Ausgaben schnell.
- Guardrails: Berechtigungen, Sandboxing und Denken in Blast-Radius.
Wie Sie darauf testen
- 1Geben Sie eine kleine Take-Home-Aufgabe: ein Agent mit zwei Tools und einer absichtlich unzuverlässigen API – bitten Sie darum, ihn robust zu machen.
- 2Fragen Sie im Review-Call, wie die Kandidaten ihn evaluieren würden: welche Metriken, welche Traces, welche Fehler-Taxonomie.
- 3Gehen Sie einem echten Projekt nach: der am längsten laufende Agent, den sie geshippt haben, was kaputtging, was sie geändert haben.
- 4Fragen Sie nach Kosten: wie sie die Ausgaben eines außer Kontrolle geratenen Loops deckeln würden.
Red Flags
- Redet über Frameworks und Demos, kann aber keinen Produktionsfehler beschreiben, den er behoben hat.
- Keine Antwort auf Observability – kann nicht sagen, wie er einen schlechten Run tracen würde.
- Behandelt Evals als optionale Politur statt als Kern des Jobs.
- Geht davon aus, das Modell werde es „schon hinbekommen“, statt Constraints zu designen.
