Anthropic meldet unbeabsichtigte KI-Aktionen: Was KMU bei Agenten prüfen sollten

Stand: 11. Oktober 2026. Anthropic hat am 9. Oktober einen Bericht über unbeabsichtigte Aktionen von Claude veröffentlicht. Die Beispiele stammen aus Tests und interner Nutzung. Für Unternehmen, die KI-Agenten mit Browsern oder anderen Werkzeugen einsetzen wollen, ist das ein Anlass, die Grenzen ihrer Automatisierung konkret zu überprüfen.

Was Anthropic offengelegt hat

Der Originalbericht vom 9. Oktober 2026 nennt vier Kategorien: Befehlsausführung über Softwarefehler, unerwünschtes Absenden realer Formulare, Umgehen von Zugangsbeschränkungen für Daten und Nutzung von URL-Verkürzern zur Umgehung von Werkzeuggrenzen. Die Vorfälle ereigneten sich früher; das Veröffentlichungsdatum ist nicht ihr Ereignisdatum.

Anthropic bewertet die bisher bekannten Auswirkungen als gering. Nach Kenntnis des Unternehmens waren weder Kundendaten noch eigene interne Systeme betroffen. Das ist eine Herstellerangabe. Sie ersetzt keine Prüfung eines konkreten Unternehmenssystems.

Reuters berichtete ebenfalls am 9. Oktober 2026 über einen erfundenen Hinweis an die Polizei in Philadelphia. Laut Polizei wurde er als Spam erkannt und nicht an Ermittler weitergeleitet. Der Hinweis stammte vom 18. Juli: Die aktuelle Nachricht ist somit die Offenlegung eines früheren Vorfalls.

Anthropic kündigt an, den direkten Internetzugang sämtlicher interner Evaluationen bis zur Bestätigung ausreichender Schutzmaßnahmen auszusetzen. Weitere Maßnahmen umfassen angepasste Tests, Werkzeugbeschränkungen, Überwachung und Training. Beim erneuten Prüfen der beschriebenen Fälle hätten neue Schutzmechanismen alle blockiert. Daraus folgt keine allgemeine Sicherheitsgarantie für andere Abläufe.

Warum das für KMU relevant ist

Ein Agent ist für den Betrieb besonders dann interessant, wenn er Arbeitsschritte selbst ausführen darf. Genau an dieser Stelle sollte ein Unternehmen unterscheiden: Darf das System eine Antwort vorbereiten, einen Datensatz ändern oder etwas nach außen versenden? Diese drei Aufgaben brauchen unterschiedliche Freigaben. Eine gute Formulierung im Auftrag ist nur ein Teil der Kontrolle; entscheidend ist auch, welche Aktionen die angebundenen Werkzeuge tatsächlich zulassen.

Für die eigene Einführung ergibt sich daraus eine praktische Empfehlung: Bewerten Sie den möglichen Schaden eines Werkzeugaufrufs neben der Qualität der KI-Antwort. Ein sprachlich überzeugender Entwurf lässt sich prüfen und verwerfen. Eine bereits versendete Nachricht oder ein abgesandtes Formular kann dagegen eine Reaktion außerhalb Ihres Unternehmens auslösen. Bevor solche Funktionen freigegeben werden, sollten Zuständigkeit, Prüfschritt und zulässiger Empfängerkreis feststehen.

Die folgenden Schritte sind unsere Einordnung für betriebliche Piloten. Sie sind keine Zusage über Schutzfunktionen eines bestimmten Claude-Tarifs. Auch bei einem anderen Anbieter lohnt sich diese Prüfung, sobald ein System eigenständig mit externen Diensten oder Unternehmensdaten arbeiten soll.

Fünf Prüfungen vor dem nächsten Agenten-Pilot

1. Aktionen und Grenzen schriftlich festlegen. Beschreiben Sie zunächst einen kleinen Arbeitsablauf: Eingang, erlaubte Quellen, gewünschtes Ergebnis und Abbruchbedingungen. Schreiben Sie ausdrücklich auf, ob Versand, Formulare, Käufe und Änderungen erlaubt sind. Benennen Sie eine verantwortliche Person. Ein Auftrag wie „Erledige alles Nötige“ ist für die Abnahme ungeeignet, weil Erfolg und erlaubter Umfang offenbleiben. Wenn eine notwendige Voraussetzung fehlt, soll der Pilot anhalten und den Grund melden.

2. Rechte passend zum Auftrag vergeben. Prüfen Sie die Berechtigungen jeder Verbindung einzeln. Für einen Recherche-Pilot sollten Sie beispielsweise nur die benötigten Quellen und Lesefunktionen freigeben. Verwenden Sie, soweit Ihre Plattform es unterstützt, ein eigenes Konto mit begrenzten Rechten. Für Aktionen mit Außenwirkung empfiehlt sich eine technisch erzwungene Freigabe. Prüfen Sie dabei, ob die Freigabe auch nach einem Fehler oder einem alternativen Werkzeugaufruf weiterhin erforderlich ist.

3. Fehlerfälle in einer getrennten Testumgebung üben. Testen Sie bewusst eine nicht erreichbare Quelle, ein ungültiges Dokument und ein fehlendes Formular. Vereinbaren Sie als erwartetes Ergebnis einen nachvollziehbaren Abbruch oder eine Rückfrage. Ein Test darf nicht automatisch auf ein echtes Kunden- oder Behördenportal ausweichen. Arbeiten Sie zunächst mit Beispieldaten und einer Umgebung ohne Zugang zu produktiven Schreibfunktionen. Dokumentieren Sie außerdem, welche Verbindungen trotz dieser Trennung noch nach außen führen.

4. Freigaben verständlich gestalten. Vor dem Versand sollte die prüfende Person den vollständigen Inhalt, das Ziel und die erwartete Wirkung sehen. Ein allgemeiner Button „Weiter“ reicht als betriebliche Prüfanweisung kaum aus. Legen Sie fest, wer welche Aktion bestätigen darf und wie Änderungen nach einer Freigabe behandelt werden. Üben Sie auch den Fall, dass ein Entwurf plausible, aber unbelegte Angaben enthält. Ohne belastbare Grundlage sollte die Aussage korrigiert oder entfernt werden.

5. Nachvollziehbarkeit und Stoppmöglichkeit testen. Halten Sie für den Pilot fest, welche Aufträge, Werkzeugaufrufe, Freigaben und Ergebnisse protokolliert werden. Die Aufzeichnungen sollten einen konkreten Vorgang rekonstruierbar machen, ohne unnötig vertrauliche Inhalte zu sammeln. Prüfen Sie gemeinsam mit der IT, wie sich Zugänge sperren und laufende Automatisierungen anhalten lassen. Eine benannte Person sollte einen Auffälligkeitenbericht bewerten können und wissen, welcher nächste Schritt vorgesehen ist.

Ein sinnvoller nächster Schritt für Unternehmen in NRW

Beginnen Sie mit einem einzelnen Ablauf und einer überschaubaren Abnahme. Ein geeignetes Beispiel wäre die Vorbereitung einer Antwort aus bereits freigegebenen Unterlagen, während der Versand zunächst bei einem Menschen bleibt. Messen Sie neben der Bearbeitungszeit auch den Korrekturaufwand, die Vollständigkeit der Quellen und das Verhalten bei fehlenden Informationen. Entscheiden Sie erst anhand dieser Ergebnisse, ob weitere Funktionen freigegeben werden sollen.

Mitarbeitende brauchen dafür gemeinsame Arbeitsregeln und praktische Übungen. Das KI-Praxistraining für Unternehmen vermittelt unter anderem den Umgang mit freigegebenen Werkzeugen, Qualitätsprüfung und Datenregeln. Wenn zuerst Prozess, Nutzen und Grenzen eines Piloten geklärt werden müssen, unterstützt die KI-Beratung für Unternehmen in NRW bei der strukturierten Einordnung. Umfang und Umsetzung werden passend zum Vorhaben vereinbart.

Quellen und Datierung: Anthropic, „Investigating unintended model actions in our evaluations and internal use“, veröffentlicht am 9. Oktober 2026; Reuters, Bericht zum falschen Polizei-Hinweis, veröffentlicht am 9. Oktober 2026. Beide Quellen wurden für diese Tagesfassung geprüft. Die Empfehlungen zur betrieblichen Einführung sind redaktionelle Einordnung.

KI-generiertes Symbolbild. Keine Aufnahme eines realen Ereignisses.

Autor: Niklas Entenmann