Hack The Box testet KI-Agenten für konkrete Cyberrollen Hack The Box testet KI-Agenten für konkrete Cyberrollen

Aus der Rangliste wird ein Arbeitstest

Am 6. Oktober 2026 hat Hack The Box die AI Range Enterprise Edition vorgestellt. Unternehmen sollen darin ihre eigenen KI-Agenten mit einer definierten Cybersecurity-Rolle verbinden und wiederholt prüfen können. Die Ergebnisse umfassen rollenbezogene Bewertungen, bestandene oder nicht bestandene Einzelumgebungen und die Entwicklung über mehrere Testläufe. Hack The Box nennt dieses Konzept Agentic Worker Competence: den wiederkehrenden Nachweis, dass ein Agent seine zugewiesene Arbeit unter realitätsnahen Bedingungen erledigen kann. Das beschreibt die offizielle Ankündigung vom 6. Oktober 2026 ↗.

Die simulierte Cyberumgebung selbst ist nicht neu. Hack The Box führte die zugrunde liegende AI Range im Dezember 2025 als Testumgebung für Sicherheitsagenten ein. Ihr bisher sichtbarer Schwerpunkt lag auf standardisierten Modellvergleichen in kontrollierten Angriffsszenarien, wie die ursprüngliche Vorstellung der AI Range ↗ zeigt.

Neu ist damit nicht noch eine Rangliste. Neu ist die Prüfeinheit. Statt nur zu fragen, welches Modell in einem einheitlichen Versuchsaufbau besser abschneidet, will die Enterprise Edition feststellen, ob ein tatsächlich konfigurierter Agent eine bestimmte Rolle ausfüllen kann.

Der Benchmark hielt das Gerüst konstant

Der bisher veröffentlichte AI-Range-Benchmark war auf Vergleichbarkeit ausgelegt. Jedes Modell bearbeitete denselben Satz von Aufgaben zehnmal. Agentencode, Werkzeuge, Prompts und Bewertungskriterien blieben identisch. Als Erfolg zählte nur die korrekte Flag; Teilerfolge wurden nicht gewertet. Nach höchstens 100 Denkschritten endete ein erfolgloser Lauf. Hack The Box dokumentiert den Aufbau in seiner Methodenbeschreibung des Modellbenchmarks ↗.

Diese Anordnung beantwortet eine schmale, nützliche Frage: Welches Modell kommt mit demselben Agentengerüst am besten durch dieselben Aufgaben? Dafür muss das Gerüst konstant bleiben. Der Vergleich sagt jedoch wenig darüber aus, ob ein Agent mit eigenen Systemanweisungen, Werkzeugen, Zugriffsrechten und Datenquellen im vorgesehenen Betrieb zuverlässig arbeitet.

Genau an dieser Grenze endet die Aussagekraft vieler Agenten-Benchmarks. Ein Modell kann in der Testumgebung eine Schwachstelle finden und dennoch im Einsatz Warnungen falsch priorisieren, ungeeignete Werkzeuge wählen oder bei einem mehrdeutigen Befund nicht rechtzeitig stoppen. Diese Trennung zwischen Modellleistung und Systemleistung haben wir bereits in „Wo der Modellvergleich zerfällt“ eingeordnet.

Die Enterprise Edition bewertet das Arrangement

Ein produktiver Agent ist kein Modell mit Namensschild. Seine Leistung entsteht aus mehreren Komponenten: Modell, Systemanweisung, Werkzeugen, Berechtigungen, Daten, Speicher und Laufzeitumgebung. Hack The Box verweist selbst darauf, dass Änderungen an Modellen, Softwaregerüsten, Prompts, Datensätzen und Bedrohungen die Leistung eines Agenten verschieben können. Die begleitende Einordnung zur Agentic Worker Competence ↗ beschreibt deshalb keinen einmaligen Eignungstest, sondern einen fortlaufenden Nachweis.

Das macht die rollenbasierte KI-Evaluation betriebsnäher, aber methodisch anspruchsvoller. Eine Rolle wie SOC Analyst oder Penetration Tester besteht nicht aus einem einzelnen Ziel. Sie umfasst eine Folge von Beobachtungen, Entscheidungen, Aktionen und Abbrüchen. Ein Agent kann das Endziel erreichen und auf dem Weg dennoch Grenzen überschreiten. Umgekehrt kann ein kontrollierter Abbruch in einer unklaren Lage die bessere Leistung sein.

Der Gedanke lässt sich auf andere Arbeitsbereiche übertragen. Ein SEO-Agent wäre nicht schon deshalb geeignet, weil er überzeugende Seitentitel formuliert. Eine Rollenprüfung müsste auch feststellen, ob er die richtige Seite bearbeitet, vorhandene Canonicals respektiert, Änderungen dokumentiert und bei widersprüchlichen Vorgaben stoppt. Gemessen würde der Arbeitsauftrag, nicht nur die sprachliche Ausgabe.

Auch menschliches Urteil kommt in die Bewertung

Hack The Box verbindet den Agententest mit einem zweiten Verfahren. Das proprietäre Agentic Operator Competence Scoring soll bewerten, wie Menschen mit den Ausgaben eines Agenten umgehen. Für KI-unterstützte Penetrationstests und SOC-Analysen seien entsprechende Rollen bereits verfügbar; weitere Cybersecurity-Rollen sollen folgen.

In praktischen Szenarien wird laut Anbieter erfasst, ob ein Operator Fehler in der Analyse erkennt, die Grundlage einer Empfehlung versteht und im richtigen Moment eingreift. Auch unnötige Eingriffe zählen zur Bewertung. Wer jeden Vorgang reflexartig stoppt, behält zwar formal die Kontrolle, kann aber nicht beurteilen, wann ein freigegebener Ablauf weiterlaufen darf.

Damit behandelt Hack The Box Leistung als Eigenschaft eines gekoppelten Systems. Der Agent muss seine Aufgabe beherrschen. Der Mensch muss erkennen, wann er folgen, prüfen oder übernehmen sollte. Das ist präziser als die verbreitete Annahme, menschliche Aufsicht sei bereits durch die Anwesenheit einer Person hergestellt.

Der Messwert hat ein Ablaufdatum

Der stärkste Gedanke der Veröffentlichung liegt nicht im einzelnen Score, sondern in seiner Wiederholung. Die aktuelle Produktseite fordert ausdrücklich eine monatliche Bewertung der Agenten. Zugleich nennt sie Veränderungen an Modellen, Agentengerüsten, Umgebungen und Bedrohungen als Gründe für erneute Prüfungen. Diese Frequenz ist eine Empfehlung des Anbieters, kein allgemeiner Standard. Belegt ist sie auf der aktuellen AI-Produktseite von Hack The Box ↗.

Der Grundsatz reicht über das Produkt hinaus. Das NIST AI Risk Management Framework empfiehlt Tests vor der Bereitstellung und regelmäßig während des Betriebs. Bewertungen sollen Bedingungen berücksichtigen, die dem Einsatz ähneln. NIST weist außerdem darauf hin, dass unabhängige Prüfungen interne Verzerrungen und Interessenkonflikte mindern können. Der offizielle AI-RMF-Kern von NIST ↗ legt dabei bewusst keinen monatlichen Rhythmus fest.

Für die Praxis ist der Änderungsauslöser wichtiger als ein starrer Kalender. Ein neuer Test wird fällig, wenn ein Modell ausgetauscht, ein Werkzeug ergänzt, eine Berechtigung erweitert oder der Aufgabenbereich verändert wird. Sonst bleibt der alte Messwert bestehen, obwohl das geprüfte System nicht mehr dasselbe ist.

Was die Note noch nicht erklärt

Die Einführung belegt, dass Hack The Box kundeneigene Agenten nach Rollen bewerten und ihre Entwicklung über mehrere Läufe sichtbar machen will. Die für diesen Artikel geprüften öffentlichen Seiten veröffentlichen mit Stand vom 11. Oktober 2026 jedoch keinen vollständigen Katalog der Enterprise-Szenarien. Auch die Gewichtung einzelner Fähigkeiten und die Schwellenwerte für eine Rollenbewertung werden dort nicht offengelegt.

Damit bleiben vor einer Beschaffungsentscheidung vier Fragen offen:

• Welche konkreten Aufgaben und Fehlerwege fließen in die Rollenbewertung ein?
• Wie werden Zielerreichung, Effizienz, Grenzverletzungen und kontrollierte Abbrüche gewichtet?
• Wie nah lassen sich Werkzeuge, Berechtigungen und Eskalationswege an den eigenen Einsatz anpassen?
• Wie reproduzierbar sind die Ergebnisse, und kann die Methode unabhängig überprüft werden?

Diese Fragen entwerten den Ansatz nicht. Sie bestimmen aber, wie weit sich ein Score übertragen lässt. Ein simuliertes SOC kann plausibel aufgebaut sein und dennoch andere Werkzeuge, Risikogrenzen oder Eskalationswege verwenden als das Team, das später mit dem Agenten arbeitet.

Hack The Box hat die entscheidende Frage enger gestellt: nicht welches Modell allgemein am besten abschneidet, sondern ob ein vollständiger Agent eine begrenzte Rolle wiederholt erfüllen kann. Geändert hat sich damit der Gegenstand der Prüfung. Noch nicht belegt ist, wie zuverlässig die daraus entstehende Note den realen Betrieb vorhersagt.