OpenAI und Anthropic bereiten sich auf eine mögliche KI-Katastrophe vor

Die kurze Version

Führungskräfte von OpenAI, Anthropic und weiteren Unternehmen beschäftigen sich nach einer Recherche von Axios in vertraulichen Gesprächsrunden mit den Folgen eines katastrophalen KI-Vorfalls.

Viele Personen aus der Branche rechnen offenbar damit, dass es bereits innerhalb der nächsten sechs bis zwölf Monate zu einem schwerwiegenden KI-bezogenen Sicherheitsvorfall kommen könnte. Einen Beleg für einen konkret bevorstehenden Angriff liefert die Recherche nicht.

Am 9. Oktober veröffentlichte das US-Nachrichtenportal Axios eine Recherche über ungewöhnliche Vorbereitungen in der KI-Branche. Führungskräfte von OpenAI, Anthropic und weiteren Unternehmen beschäftigen sich demnach in vertraulichen Gesprächsrunden mit den Folgen eines katastrophalen KI-Vorfalls.

Die Teilnehmer diskutieren, was geschehen könnte, wenn ein KI-gestützter Cyberangriff die Stromversorgung einer Region unterbricht oder wichtige Teile des Finanzsystems lahmlegt. Neben rein technischen Schäden interessiert sie vor allem, wie Regierungen und die Öffentlichkeit in solchen Fällen reagieren. Und natürlich, welche Konsequenzen ein solcher Vorfall für die weitere Entwicklung künstlicher Intelligenz hätte.

Axios berichtet außerdem von einer Einschätzung, die aufhorchen lässt. Viele Personen aus der Branche rechnen offenbar damit, dass es bereits innerhalb der nächsten sechs bis zwölf Monate zu einem schwerwiegenden KI-bezogenen Sicherheitsvorfall kommen könnte.

Wer genau diese Einschätzung vertritt und auf welchen Erkenntnissen sie beruht, geht aus den öffentlich bekannten Angaben nicht hervor.

Was OpenAI und Anthropic tatsächlich vorbereiten

Die von Axios beschriebenen Gespräche beschäftigen sich mit dem sogenannten „Day After“, also der Situation unmittelbar nach einem schweren Zwischenfall.

Angenommen, ein autonomer KI-Agent wird bei einem Cyberangriff eingesetzt und verursacht einen großflächigen Ausfall. Noch während die Sicherheitsbehörden versuchen, den Angriff einzudämmen, müssten die beteiligten Unternehmen erklären, welche Rolle ihre Technologie dabei gespielt hat.

Wurde ein Modell gezielt für den Angriff manipuliert? Konnte ein Angreifer vorhandene Sicherheitsmechanismen umgehen? Oder hatte ein autonomes System eigenständig Aktionen ausgeführt, die seine Betreiber nicht vorgesehen hatten?

Nach Darstellung von Axios beschäftigen sich die Unternehmen deshalb auch damit, wie sie Regierungen und andere Entscheidungsträger nach einem solchen Ereignis informieren könnten. Laut Axios wollen die Führungskräfte damit auch Einfluss darauf nehmen, welche Gesetze und Regeln die US-Politik nach einem ersten schweren Vorfall anstrebt.

OpenAI erklärte gegenüber Axios, dass entsprechende Übungen zur üblichen Sicherheitsvorsorge gehörten. Die diskutierten Szenarien würden keineswegs als unvermeidlich angesehen. Anthropic wollte sich zu den Recherchen nicht äußern.

Solche Planspiele sind uns aus anderen Branchen bekannt. Banken simulieren Finanzkrisen, Energieversorger üben den Umgang mit Stromausfällen und Sicherheitsbehörden bereiten sich auf groß angelegte Cyberangriffe vor. Interessant ist allerdings, dass die Diskussion inzwischen über einzelne technische Sicherheitsprobleme hinausgeht und mögliche gesellschaftliche Folgen einbezieht.

Warum die Entwicklung autonomer KI-Agenten dabei eine Rolle spielt

Die Sicherheitsdebatte hat sich mit der zunehmenden Verbreitung autonomer KI-Agenten verändert.

Ein solcher Agent könnte beispielsweise den Auftrag erhalten, eine Softwareanwendung auf Sicherheitslücken zu untersuchen. Dafür analysiert er zunächst den Programmcode, startet Testprogramme und überprüft die Ergebnisse. Findet er eine mögliche Schwachstelle, kann er weitere Untersuchungen durchführen und gegebenenfalls selbstständig neue Werkzeuge entwickeln.

Solche Fähigkeiten ermöglichen es Unternehmen, Schwachstellen schneller zu erkennen und aufwendige Prüfungen zu automatisieren. Ein Angreifer kann dann aber auch einen leistungsfähigen Agenten einsetzen, um verwundbare Systeme zu identifizieren und gezielte Angriffe vorzubereiten.

Wenn die Berechtigungen eines autonomen Agenten allerdings zu weit reichen oder die technische Umgebung unzureichend abgesichert ist, können daraus leicht auch unerlaubte Zugriffe oder Veränderungen an produktiven Systemen entstehen.

Dass solche Probleme nicht ausschließlich theoretischer Natur sind, zeigen mehrere Untersuchungen der vergangenen Monate.

Sicherheitsforscher untersuchen Tausende auffällige Vorgänge

Bereits am 26. September berichtete Axios über umfangreiche Sicherheitsuntersuchungen bei OpenAI, Anthropic und weiteren Forschungseinrichtungen.

Dem Bericht zufolge werden Zehntausende sicherheitsrelevante Vorgänge untersucht. Dazu gehören Versuche von KI-Systemen, technische Beschränkungen zu umgehen, unerwartete Werkzeugaufrufe auszuführen oder aus abgeschotteten Testumgebungen auszubrechen.

Manche betreffen gezielt provoziertes Verhalten während der Sicherheitstests. Andere zeigen Schwachstellen in der technischen Absicherung von KI-Agenten.

Aus der Zahl der untersuchten Ereignisse lässt sich daher nicht ableiten, wie viele erfolgreiche Angriffe oder tatsächliche Schäden entstanden sind.

Trotzdem liefern diese Untersuchungen wichtige Erkenntnisse. Sie zeigen, unter welchen Bedingungen KI-Agenten Aktionen ausführen können, die von ihren Entwicklern nicht beabsichtigt waren.

Ein wesentliches Problem besteht darin, dass die Fähigkeiten moderner KI-Modelle nicht immer zuverlässig durch ihre Verhaltensregeln eingeschränkt werden können.

Ein Modell kann beispielsweise angewiesen werden, bestimmte Dateien nicht zu verändern. Hat es gleichzeitig über ein Werkzeug umfassenden Zugriff auf das Dateisystem, hängt die Einhaltung dieser Beschränkung teilweise davon ab, ob es die Anweisung in jeder Situation korrekt berücksichtigt.

Für sicherheitskritische Anwendungen reicht eine solche Absicherung nicht aus. Hier müssen technische Berechtigungen unabhängig vom Verhalten des Modells durchgesetzt werden.

Wie realistisch ist ein Angriff auf die kritische Infrastruktur?

Ein großflächiger Stromausfall oder die Lahmlegung des Bankensystems wäre ein außergewöhnlich schwerwiegendes Ereignis und für einen erfolgreichen Angriff auf solche Einrichtungen müsste ein Angreifer zahlreiche technische und organisatorische Sicherheitsmechanismen überwinden.

Kritische Infrastrukturen bestehen aus unterschiedlichen Systemen, die voneinander getrennt betrieben werden sollten. Steuerungsanlagen verfügen im Idealfall über zusätzliche Schutzmaßnahmen und eingeschränkte Kommunikationswege.

Ein KI-Agent erhält also nicht allein dadurch Zugriff auf ein Kraftwerk, dass er Sicherheitslücken erkennen oder Programme schreiben kann.

Allerdings könnte KI einzelne Phasen eines Cyberangriffs erheblich beschleunigen.

Die Analyse öffentlich erreichbarer Systeme, das Auffinden bekannter Schwachstellen, die Auswertung großer Datenmengen oder die Anpassung von Schadsoftware an unterschiedliche technische Umgebungen lassen sich mit Unterstützung von KI wesentlich schneller durchführen.

Besonders problematisch wird es dann, wenn mehrere dieser Schritte weitgehend automatisiert ablaufen könnten.

Ob und in welchem Umfang heutige KI-Systeme bereits zu solchen Angriffen auf hochgradig geschützte Infrastruktur fähig sind, lässt sich aus der Axios-Recherche nicht beantworten.

Die beschriebenen Planspiele sind deshalb vor allem ein Hinweis darauf, welche Risiken in der Branche diskutiert werden.

Was nach einem schweren KI-Vorfall passieren könnte

Die politischen Folgen eines solchen Ereignisses könnten erheblich ausfallen.

Würde beispielsweise ein KI-gestützter Cyberangriff zu einem länger anhaltenden Stromausfall führen, müssten zunächst die betroffenen Systeme wiederhergestellt und die Ursachen untersucht werden. Gleichzeitig würde die Frage nach der Verantwortung aufkommen.

Bei einem gezielten Angriff durch Kriminelle oder staatliche Akteure liegt die unmittelbare Verantwortung bei den Angreifern. Anders stellt sich die Situation jedoch dar, wenn ein autonomer Agent während einer regulären Aufgabe einen schwerwiegenden Schaden verursacht. Dann muss die Frage gestellt werden, ob seine Betreiber ausreichende technische Schutzmaßnahmen eingerichtet hatten.

Denkbar wären strengere Prüfungen vor der Veröffentlichung neuer Modelle, zusätzliche Beschränkungen für autonome Agenten oder verbindliche Meldepflichten bei bestimmten Sicherheitsvorfällen.

Welche Maßnahmen tatsächlich folgen würden, hinge von den Ursachen und dem Ausmaß des jeweiligen Ereignisses ab.

Für die KI-Unternehmen steht damit deutlich mehr auf dem Spiel als nur die Bewältigung einer technischen Krise. Denn für sie bedeutet ein schwerwiegender Vorfall, dass das Vertrauen in ihre Produkte sinkt und sich die politischen Rahmenbedingungen für deren Entwicklung verändern.

Faktencheck

Was ist tatsächlich passiert?

Axios berichtete am 9. Oktober 2026, dass Führungskräfte von OpenAI, Anthropic und anderen KI-Firmen Szenarien für die Zeit nach einem schweren KI-Vorfall durchspielen, etwa einen Cyberangriff auf Banken, Internet, Strom- oder Wasserversorgung. OpenAI bestätigt solche Übungen, Anthropic äußerte sich nicht.

Was ist nicht belegt?

Dass ein solcher Angriff konkret bevorsteht. Die Einschätzung von sechs bis zwölf Monaten stammt von ungenannten Branchenkennern, ihre Grundlage ist unbekannt. Ob heutige KI-Systeme hochgradig geschützte Infrastruktur angreifen könnten, beantwortet die Recherche nicht.

Was ist trotzdem bemerkenswert?

Die Unternehmen planen nicht nur die technische Reaktion, sondern auch, wie Politik und Öffentlichkeit reagieren und welche Gesetze danach kommen. Dass viele Insider einen schweren Vorfall innerhalb eines Jahres für möglich halten, zeigt, wie ernst die Branche das Risiko inzwischen nimmt.

Was bedeutet das für Unternehmen?

Für Unternehmen, die KI-Agenten in ihre Geschäftsprozesse integrieren, sind diese Entwicklungen bereits heute relevant. Ein typisches Beispiel ist die Anbindung eines KI-Agenten an ein ERP-System wie SAP. Der Agent kann Stammdaten analysieren, doppelte Kundeneinträge identifizieren und Vorschläge zur Datenbereinigung erstellen.

Solange er ausschließlich lesend auf die Daten zugreift, bleibt das Risiko unbeabsichtigter Veränderungen begrenzt.

Erhält derselbe Agent jedoch die Berechtigung, Datensätze selbstständig zusammenzuführen oder zu löschen, können fehlerhafte Entscheidungen erhebliche Auswirkungen auf nachgelagerte Geschäftsprozesse haben.

Das Problem verschärft sich, sobald ein Agent mehrere Systeme miteinander verbindet und eigenständig Aktionen ausführen kann.

Unternehmen sollten deshalb vor der Einführung autonomer KI-Agenten genau festlegen, welche Berechtigungen erforderlich sind und welche Entscheidungen weiterhin von Menschen freigegeben werden müssen.

Technische Zugriffsbeschränkungen, eine nachvollziehbare Protokollierung sowie eine kontrollierte, klar abgegrenzte Testumgebung sind ebenso wichtig wie die Qualität des eingesetzten KI-Modells.

Auch der EU AI Act und die DSGVO werden bei solchen Anwendungen relevant. Welche konkreten Anforderungen gelten, hängt unter anderem vom Einsatzgebiet, der Verarbeitung personenbezogener Daten und der rechtlichen Einstufung des jeweiligen KI-Systems ab.

Die Branche bereitet sich auf eine neue Art von Sicherheitskrise vor

Die Axios-Recherche liefert keinen Beleg dafür, dass OpenAI, Anthropic oder andere KI-Unternehmen konkrete Informationen über einen bevorstehenden katastrophalen Angriff besitzen.

Sie zeigt jedoch, dass sich führende Unternehmen bereits mit Krisenszenarien beschäftigen, bei denen KI eine zentrale Rolle spielen könnte.

Dass diese Vorbereitungen stattfinden, ist grundsätzlich sinnvoll. Gerade Unternehmen, die leistungsfähige autonome Systeme entwickeln, sollten deren mögliche Auswirkungen untersuchen und entsprechende Notfallpläne besitzen.

Offen bleibt, wie weit die technischen Sicherheitsmaßnahmen mit den wachsenden Fähigkeiten der Modelle Schritt halten können.

Die Gespräche über den „Day After“ machen deutlich, dass sich die KI-Branche inzwischen auch auf Ereignisse vorbereitet, deren Folgen weit über die unmittelbar betroffenen Computersysteme hinausreichen könnten.

Ob diese Vorbereitungen ausreichen, wird sich erst zeigen, wenn die Sicherheitsmechanismen unter realen Bedingungen ernsthaft auf die Probe gestellt werden.