Wenn KI-Systeme gegen eingebildete Angreifer kämpfen

Ein Sicherheitssystem meldet einen Angriff, verfolgt Spuren und veranlasst weitere Untersuchungen. Nur der Angreifer existiert nicht. Ein öffentlich beschriebener Fall, in dem ein KI-gestütztes System über mehrere Tage eine falsche Bedrohungslage bearbeitet haben soll, macht ein bislang unterschätztes Risiko sichtbar: KI-Sicherheitsvorfälle entstehen nicht nur durch externe Manipulation oder technische Ausfälle. Sie können auch damit beginnen, dass ein autonomer Agent mehrdeutige Signale falsch deutet, daraus eine überzeugende Geschichte konstruiert und seine ursprüngliche Annahme durch weitere Aktionen scheinbar bestätigt. Für Unternehmen ist deshalb nicht allein die Erkennungsleistung entscheidend, sondern die Fähigkeit eines Systems, Unsicherheit offenzulegen und kontrolliert anzuhalten.

Was über den beschriebenen Vorfall bekannt ist

Nach der journalistischen Darstellung wertete ein autonom agierendes KI-System sicherheitsrelevante Signale als Hinweise auf einen komplexen Angriff. Die Ausgangsdaten waren offenbar mehrdeutig: Sie konnten auf einen Angreifer hindeuten, aber ebenso auf Tests, Fehlkonfigurationen oder gewöhnliche technische Auffälligkeiten. Statt diese Möglichkeiten gegeneinander abzuwägen, verfolgte das System die Angriffshypothese über Tage weiter.

Wichtige Details sind in der verfügbaren Darstellung jedoch nicht hinreichend belegt. Dazu gehören das konkrete Produkt, die exakte Chronologie, die ausgeführten Aktionen und die Gestaltung der menschlichen Aufsicht. Auch die Bezeichnung als bislang schwerster KI-Sicherheitsvorfall ist eine journalistische Wertung, keine objektiv belegte Kategorie. Belastbar ist vor allem die grundsätzliche Lehre: Die Dauer und Konsistenz einer KI-Analyse sind kein Beweis für ihre Richtigkeit.

Wie aus einem Fehlalarm eine Eskalationsschleife wird

Autonome Agenten erhalten ein Ziel, planen Zwischenschritte und greifen dabei auf Werkzeuge wie Loganalysen, Scanner oder Ticketsysteme zu. Liegt ihrer Planung eine falsche Hypothese zugrunde, können nachfolgende Schritte diese Hypothese verstärken. Das System sucht dann bevorzugt nach passenden Indizien, interpretiert neue Auffälligkeiten im bestehenden Deutungsrahmen und erzeugt zusätzliche Daten, die wiederum als Bestätigung erscheinen.

Das ist nicht automatisch eine Halluzination im engeren Sinn. Möglich sind ebenso eine Fehlklassifikation oder unzureichende Zustandskontrolle. Für eine Prompt Injection, also eine gezielte Manipulation über Eingaben, gibt es im beschriebenen Fall keinen gesicherten Beleg. Auch Tool-Missbrauch bezeichnet zunächst nur die Folge: Ein Agent verwendet erlaubte Werkzeuge in einem Umfang oder Kontext, der nicht vorgesehen war.

Besonders riskant wird diese Dynamik, wenn dem System Konfidenzgrenzen, alternative Erklärungsmodelle und harte Abbruchbedingungen fehlen. Hinzu kommt der Automation Bias: Menschen gewichten maschinell erzeugte Analysen stärker, weil sie detailliert, technisch und in sich schlüssig wirken.

Kontrollen müssen vor der Eskalation greifen

Wirksame Kontrolle beginnt nicht bei einem Not-Aus, sondern bei der Architektur. Ein Agent sollte Beobachtungen, Schlussfolgerungen und Maßnahmen getrennt protokollieren. Dadurch lässt sich erkennen, ob eine behauptete Bedrohung auf unabhängigen Belegen beruht oder lediglich aus früheren Modellannahmen abgeleitet wurde.

Für die operative KI-Sicherheit in IT-Teams sind insbesondere folgende Vorkehrungen relevant:

• kritische Alarme durch eine unabhängige Datenquelle oder ein zweites Verfahren bestätigen,
• Schreib-, Scan- und Kommunikationsrechte nach dem Minimalprinzip begrenzen,
• für hohe Eskalationsstufen eine menschliche Freigabe verlangen,
• Eingaben, Modellversionen, Tool-Aufrufe und Entscheidungen vollständig protokollieren,
• Zeit-, Kosten- und Aktionsbudgets mit automatischen Stopppunkten festlegen.

Incident-Response-Pläne sollten außerdem KI-Fehlverhalten als eigene Vorfallklasse behandeln. Gerade bei der sicheren KI-Nutzung im Mittelstand verhindert eine klare Rollenverteilung, dass kleine Sicherheitsteams gleichzeitig den vermeintlichen Angriff bekämpfen und das Verhalten des Agenten untersuchen müssen.

Menschliche Aufsicht ist eine betriebliche Funktion

Der EU AI Act verlangt für Hochrisiko-KI unter anderem Risikomanagement, Protokollierung, Robustheit und wirksame menschliche Aufsicht. Ob ein bestimmtes Sicherheitssystem tatsächlich als Hochrisiko-KI einzustufen ist, hängt allerdings von Einsatzgebiet und Zweckbestimmung ab. Die Vorgaben lassen sich daher nicht pauschal auf jedes KI-Werkzeug übertragen.

Unabhängig von der Einstufung liefern die Anforderungen des EU AI Act an KI-Kompetenz und Risikomanagement einen sinnvollen organisatorischen Maßstab. Aufsicht ist nur wirksam, wenn zuständige Personen die Systemgrenzen verstehen, Zugriff auf aussagekräftige Protokolle haben und eine Eskalation tatsächlich stoppen dürfen.

Der Fall des eingebildeten Angreifers zeigt damit kein geheimnisvolles Eigenleben der KI. Er zeigt ein kontrollierbares Zusammenspiel aus unsicheren Daten, weitreichender Autonomie und zu schwachen Prüfprozessen. Entscheidend ist nicht, ob ein Agent Fehler macht, sondern ob die Organisation diese erkennt, bevor aus einer falschen Annahme ein mehrtägiger Sicherheitsprozess wird.