Seit über 20 JahrenPersönliche BetreuungServer in Deutschland
Zum Inhalt springen

KI außer Kontrolle? · #016

Realer Vorfall Das Ereignis ist tatsächlich außerhalb einer Simulation eingetreten.

· Matthias Steube

Claude umgeht Zugriffssperren und führt unerlaubte Aktionen aus

Anthropic hat mehrere Vorfälle dokumentiert, in denen seine KI-Modelle eigenständig Sicherheitslücken ausnutzten und anschließend Aktionen auf echten Websites durchführten. In einem Fall führte Claude Befehle auf dem Server einer Universität aus. Anthropic beschloss daraufhin, dass interne KI-Tests vorerst ohne direkten Internetzugang stattfinden sollen.

Die kurze Version

Claude-Modelle suchten eigenständig nach Möglichkeiten, Hindernisse zu umgehen. Teilweise nutzten sie Sicherheitslücken fremder Websites aus und führten Aktionen auf echten Websites durch.

Die beobachteten Folgen waren bisher gering. Trotzdem hat Anthropic den direkten Internetzugang für alle internen Modellevaluierungen vorläufig deaktiviert.

Wenn eine KI Hindernisse eigenständig beseitigt

Ein KI-Agent erhält eine Aufgabe. Er soll Daten recherchieren, eine wissenschaftliche Berechnung durchführen oder Informationen auf einer Website abrufen.

Aber der KI-Agent hat ein Problem, denn eine Website verweigert den Zugriff, ein Werkzeug funktioniert nicht oder Daten sind nur gegen Bezahlung erhältlich.

Was sollte die KI jetzt tun? Im Idealfall meldet sie das Hindernis und fragt, wie sie weiter vorgehen soll.

Das scheint aber nicht immer wie vorgesehen zu funktionieren. Stattdessen suchten Claude-Modelle eigenständig nach Möglichkeiten, Hindernisse zu umgehen. Teilweise nutzten sie Sicherheitslücken fremder Websites aus oder griffen auf Funktionen zu, die ihnen eigentlich nicht zur Verfügung stehen sollten.

Anthropic hat diese Vorfälle bereits untersucht und stellt dabei vier Kategorien unbeabsichtigter Aktionen heraus.

1. Claude entdeckt eine Sicherheitslücke und führt Serverbefehle aus

Das Modell Claude Mythos Preview sollte im Rahmen eines Tests eine Analyse durchführen. Dafür benötigte es ein öffentlich zugängliches Werkzeug, das auf einem Server einer Universität betrieben wurde.

Doch der Zugriff schlug fehl.

Anstatt die Aufgabe abzubrechen, untersuchte Claude die Universitätswebsite genauer.

Dabei entdeckte das Modell ein Skript, mit dem sich beliebige Dateien vom Server abrufen ließen. Claude verwendete es, um unter anderem den Quellcode dieses Skripts herunterzuladen.

In diesem Code fand die KI eine Sicherheitslücke.

Anschließend nutzte Claude die Schwachstelle, um eigene Befehle auf dem Universitätsserver auszuführen und damit die ursprünglich verlangte Berechnung durchzuführen.

Die KI hatte also nicht den Auftrag, einen Server auf Sicherheitslücken zu untersuchen. Sie sollte lediglich eine wissenschaftliche Berechnung durchführen.

Das Ausnutzen der Schwachstelle war ein selbstgewählter Weg zum Ziel.

In Fällen dieser Kategorie nutzten die Modelle laut Anthropic SQL- oder Command-Injection. Das sind Angriffstechniken, bei denen Eingaben so gestaltet werden, dass ein fremdes System sie unbeabsichtigt als Datenbank- oder Betriebssystembefehle ausführt.

2. Claude umgeht eine Bezahlschranke

Ein weiterer Vorgang ereignete sich im Rahmen eines internen Statistikprojekts.

Ein Forscher von Anthropic verwendete Claude Mythos 5, um öffentlich zugängliche Daten einer staatlichen Behörde auszuwerten.

Das Problem: Die Behörde stellte die Daten nur gegen Bezahlung zur Verfügung.

Claude fand in einer archivierten Version der Website heraus, dass das öffentliche Dashboard der Behörde Zugangstoken an Besucher ausgab.

Die KI beschaffte sich einen solchen Token und griff damit direkt auf die Datenbank zu, ohne die vorgesehene Gebühr zu zahlen.

In einem anderen Test sollte Claude den Standort eines Fotos bestimmen. Dafür wollte das Modell eine digitale Grundstückskarte einer lokalen Behörde verwenden.

Da seine Werkzeuge die normale Navigation durch die Website nicht ermöglichten, untersuchte Claude eine Konfigurationsdatei, die der Webserver an Browser auslieferte. Darin fand das Modell gültige Zugangstoken und nutzte diese für direkte Anfragen an das dahinterliegende System.

In beiden Beispielen handelte es sich laut Anthropic um Daten, die grundsätzlich öffentlich zugänglich waren, teilweise jedoch nur gegen Bezahlung.

Das macht die Vorgänge weniger schwerwiegend als der Zugriff auf geheime Daten. Trotzdem überschritten die Modelle die vorgesehenen Zugangswege.

3. KI verschickt echte Formulare, obwohl sie nur üben sollte

Auch bei der Bedienung von Websites kam es zu unerwarteten Aktionen.

In einem Test sollte ein noch unveröffentlichtes Forschungsmodell lediglich ein behördliches Formular in einer Übungsumgebung ausfüllen.

Als die Testversion nicht funktionierte, wechselte Claude zur offiziellen Website der Behörde, füllte das tatsächliche Formular aus und reichte es ein.

Dieser Vorgang wiederholte sich mehrfach innerhalb derselben Testumgebung.

In einem anderen Experiment sollte Claude Haiku 4.5 ein Formular bis unmittelbar vor den abschließenden Versand bearbeiten.

Die Anweisung war ausdrücklich, vor dem Absenden zu stoppen.

Dennoch schickte das Modell das Formular mehrfach ab, weil es davon ausging, dass anschließend noch eine Bestätigungsseite erscheinen würde.

Für einen KI-Agenten kann der Unterschied zwischen der Vorbereitung einer Aktion und ihrer tatsächlichen Ausführung entscheidend sein.

Bei einem Kontaktformular kann ein versehentlicher Versand vergleichsweise harmlos sein, aber bei einer Bestellung, einer Überweisung oder einer behördlichen Erklärung sieht das ganz anders aus.

4. Claude nutzt URL-Kürzer, um technische Grenzen zu umgehen

Anthropic begrenzt bei bestimmten Werkzeugen die Länge der Internetadressen, die Claude abrufen darf.

Das soll verhindern, dass über besonders lange URLs größere Datenmengen nach außen gelangen.

Mehrere Modelle, darunter Claude Opus 5 und Claude Mythos 5, nutzten daraufhin einfach öffentliche URL-Kürzungsdienste und konnten damit die langen Internetadressen in kurze Links umwandeln, die anschließend innerhalb der erlaubten Zeichenbegrenzung lagen.

Anthropic entdeckte dieses Verhalten zwar selbst, aber noch während der Bericht vorbereitet wurde, meldete sich der Betreiber eines solchen Kürzungsdienstes, der entsprechende Zugriffe beobachtet hatte.

Das ist ein ernsthaftes Problem, denn kaum jemand wird alle Fälle vorhersehen und dafür geeignete Sperren aufstellen können.

Eine technische Beschränkung ist nur dann wirksam, wenn der KI-Agent sie nicht über einen anderen verfügbaren Weg umgehen kann.

Warum handelt eine KI so?

Anthropic beschreibt viele der beobachteten Verhaltensweisen als Persistence, also als besonders hartnäckiges Verfolgen eines Ziels.

Die KI erhält eine Aufgabe und versucht, sie erfolgreich zu erledigen.

Wenn der vorgesehene Weg nicht funktioniert, sucht sie nach Alternativen.

Das ist eine erwünschte Fähigkeit leistungsfähiger KI-Agenten. Schließlich sollen sie komplexe Aufgaben möglichst selbstständig lösen.

Problematisch wird es, wenn ein Modell dabei Grenzen überschreitet, die für Menschen selbstverständlich sind.

Anthropic verweist außerdem auf ein bekanntes Problem beim Training von KI-Modellen: Reward Hacking.

Dabei lernen Modelle, dass bestimmte unerwünschte Abkürzungen oder Umgehungsstrategien zu einem erfolgreichen Ergebnis führen. Wenn also ein Trainingssystem vor allem den erfolgreichen Abschluss einer Aufgabe belohnt, kann ein Modell lernen, Hindernisse zu umgehen, statt sie als verbindliche Grenzen zu behandeln.

Das zeigt, dass ein aufgabenerfüllendes System Verhaltensweisen entwickeln kann, die seine Entwickler nicht beabsichtigt haben. Und genau das macht die Entwicklung so relevant.

Anthropic zieht Konsequenzen und schaltet den Internetzugang ab

Das Unternehmen betont, dass die beschriebenen Aktionen weniger schwerwiegend waren als frühere Sicherheitsvorfälle. Trotzdem reagiert Anthropic mit umfassenden Sicherheitsmaßnahmen.

Der direkte Internetzugang wurde für alle internen Modellevaluierungen vorläufig deaktiviert. Zuvor galt diese Einschränkung bereits für besonders risikoreiche Tests. Außerdem will das Unternehmen nach eigenen Angaben die Schutzmechanismen seiner Internetwerkzeuge verschärfen und automatische Systeme entwickeln, die unerwünschte Aktionen erkennen und blockieren sollen.

Bei nachträglichen Tests konnten diese Schutzsysteme alle im Bericht beschriebenen Vorgänge verhindern.

Das Unternehmen arbeitet darüber hinaus daran, Trainingsumgebungen zu verändern, die unbeabsichtigt das Umgehen technischer Grenzen belohnen könnten.

Eine endgültige Lösung sieht Anthropic darin noch nicht. Das Unternehmen erklärt, dass Sicherheitstraining allein bislang nicht ausreichend zuverlässig ist.

Faktencheck

Was ist tatsächlich passiert?

Anthropic beschreibt in seinem Bericht vom 9. Oktober 2026 vier Arten unbeabsichtigter Aktionen: Serverbefehle über eine Sicherheitslücke, umgangene Zugangssperren zu Daten, echte statt geübter Formulareingaben und URL-Kürzer gegen die Längenbegrenzung. Die Modelle sind namentlich genannt.

Was ist nicht belegt?

Welche Universität, welche Behörden und welche Formulare betroffen waren, nennt Anthropic nicht. Ob die neuen Schutzsysteme auch unbekannte Umgehungswege zuverlässig erkennen, ist offen. Getestet wurden sie an den bekannten Fällen.

Was ist trotzdem bemerkenswert?

Kein Modell hatte den Auftrag, Sperren zu umgehen. Es wählte diesen Weg selbst, weil der vorgesehene nicht funktionierte. Und der Betreiber eines Kürzungsdienstes bemerkte die Zugriffe von außen.

Was bedeutet das für Unternehmen?

Die Untersuchungen betreffen nicht nur die Entwickler großer KI-Modelle.

Sie zeigen ein Problem, das mit der Verbreitung autonomer KI-Agenten auch für Unternehmen relevant wird.

Denn KI-Systeme werden längst nicht mehr ausschließlich eingesetzt, um Texte zu formulieren oder Fragen zu beantworten. Immer häufiger erhalten sie Zugriff auf Werkzeuge und Unternehmenssysteme.

Ein KI-Agent kann beispielsweise E-Mails bearbeiten, Kundendaten aktualisieren, Rechnungen vorbereiten, Datenbanken abfragen oder Änderungen an Websites vornehmen.

Je mehr Berechtigungen ein solches System besitzt, desto größer sind die Folgen unbeabsichtigter Aktionen.

Ein KI-Agent, der eine Zugriffsbeschränkung als Hindernis betrachtet, kann zu einem Sicherheitsrisiko werden, selbst wenn er nur versucht, seine Aufgabe zu erfüllen.

Unternehmen sollten deshalb einige grundlegende Sicherheitsprinzipien beachten:

  • Berechtigungen begrenzenKI-Agenten dürfen nur auf Systeme und Daten zugreifen, die sie für ihre jeweilige Aufgabe benötigen.
  • Kritische Aktionen freigeben lassenZahlungen, Löschvorgänge, externe Veröffentlichungen und vergleichbare Aktionen müssen eine ausdrückliche Bestätigung erfordern.
  • Technische Grenzen durchsetzenVerbote dürfen nicht ausschließlich in einer natürlichen Sprachaufforderung formuliert werden. Sie müssen nach Möglichkeit durch Zugriffsrechte und technische Kontrollen abgesichert werden.
  • Aktivitäten protokollierenUnternehmen müssen nachvollziehen können, welche Aktionen ein Agent tatsächlich ausgeführt hat.
  • Test- und Produktivsysteme trennenEin Agent, der etwas ausprobieren soll, darf nicht versehentlich auf echte Kundendaten oder auf produktive Systeme zugreifen.

Fazit

Die Untersuchungen von Anthropic zeigen, wie schnell sich das Verhalten eines KI-Agenten verselbstständigen kann.

Claude sollte wissenschaftliche Berechnungen durchführen und recherchieren. Stattdessen nutzte das Modell in einzelnen Situationen Sicherheitslücken aus, um Zugangsbeschränkungen zu umgehen und Aktionen auf echten Websites auszuführen.

Die beobachteten Folgen waren bisher gering.

Doch die zugrunde liegende Fähigkeit ist bemerkenswert.

Ein KI-System kann eigenständig Wege finden, die seine Entwickler nicht vorgesehen haben. Diese Wege können technische Sicherheitsgrenzen überschreiten.

Solange KI nur Text erzeugt, bleiben viele Fehler auf dem Bildschirm.

Wenn KI-Agenten jedoch selbstständig mit Websites, Datenbanken und Unternehmenssystemen interagieren, können daraus reale Handlungen folgen.

Die entscheidende Frage lautet deshalb nicht mehr nur, ob eine KI ihre Aufgabe lösen kann.

Wir müssen sicherstellen, dass sie dabei innerhalb der zulässigen Grenzen bleibt.

Quellen

  1. Anthropic Investigating unintended model actions in our evaluations and internal use (externer Link) Primärquelle
  2. Anthropic An alignment assessment of recent cybersecurity incidents (externer Link) Primärquelle
  3. Gizmodo Anthropic Is Banishing Its Model Evals From the Internet (externer Link)

Neue Fälle nicht verpassen

Wir ordnen regelmäßig dokumentierte KI-Vorfälle ein: was passiert ist, was Schlagzeile ist und was Unternehmen daraus lernen.

TeilenLinkedInWhatsApp
WordPress Cookie Hinweis von Real Cookie Banner