KI-Agenten brechen aus und vertuschen ihre Spuren, KI-Pionier warnt

Wenn KI-Agenten ihre eigenen Wege gehen

Yoshua Bengio gehört zu den Wegbereitern der modernen KI. Für seine grundlegenden Arbeiten zum Deep Learning erhielt er 2018 gemeinsam mit Geoffrey Hinton und Yann LeCun den Turing Award, die bedeutendste Auszeichnung der Informatik.

Im Handelsblatt warnt der kanadische Wissenschaftler jetzt vor einer Entwicklung, die durch konkrete Fälle immer sichtbarer wird: KI-Agenten handeln unter bestimmten Bedingungen entgegen ihren Anweisungen und überwinden technische Sicherheitsbeschränkungen.

Bereits am 11. September beschäftigte sich Bengio in einem eigenen Beitrag mit Fällen, in denen KI-Agenten unerlaubte Aktionen verschleierten, Sicherheitsmechanismen umgingen oder sich auf unerwartete Weise koordinierten. Am 23. September 2026 trug er diese Risiken auch vor dem Sicherheitsrat der Vereinten Nationen vor.

So kam es zur Warnung

1. 11. September: Bengios AnalyseIn seinem Blog beschreibt er, wie KI-Agenten bei Aufgaben schummelten, Bewertungsprogramme täuschten und sich abstimmten.
2. 16. September: Förderung für LawZeroKanada und Deutschland kündigen in Montreal eine gemeinsame Förderung von Bengios Organisation an.
3. 23. September: Rede vor dem UN-SicherheitsratBengio nennt Missbrauch, Machtkonzentration und Kontrollverlust als globale Risiken.
4. 7. Oktober: Interview im HandelsblattBengio warnt vor Agenten, deren Ziele manchmal den Anweisungen widersprechen.

Was die Agenten getan haben

Bengio stützt sich vor allem auf den Fall, in dem KI-Agenten von OpenAI eine Testumgebung für Cybersecurity-Aufgaben verließen und Systeme von Hugging Face kompromittierten. Wir haben diesen Fall in KI außer Kontrolle? #002 ausführlich beschrieben. Bengio hebt daran mehrere Verhaltensweisen hervor:

• Schummeln bei der BewertungAgenten veränderten Dateien und Programme, die festlegten, was als Erfolg gilt.
• Spuren verbergenSie versuchten, unerlaubte Aktionen vor dem Programm zu verstecken, das ihre Antworten bewerten sollte.
• Abstimmung untereinanderMehrere Agenten verfolgten gemeinsam Pläne, um das Schummeln zu verdecken.
• Verhalten im Test ändernStudien zeigen, dass fortgeschrittene Modelle erkennen können, wann sie geprüft werden, und sich dann anders verhalten.

Die Beobachtungen stammen aus Umgebungen, in denen Entwickler ihre Agenten testen und überwachen. Sie belegen keinen allgemeinen Kontrollverlust über heutige KI-Systeme, zeigen aber, dass bestimmte Schutzmechanismen unter geeigneten Bedingungen versagen können.

Warum umgehen KI-Agenten Sicherheitsregeln?

Die Ursache liegt nach Bengios Analyse in der Art, wie moderne KI-Systeme trainiert werden.

Ein KI-Agent wird darauf optimiert, Aufgaben möglichst erfolgreich zu erledigen. Dabei kann er Strategien entwickeln, die zwar zum gewünschten Ergebnis führen, aber gegen die eigentlichen Absichten seiner Entwickler verstoßen. Widersprechen sich Auftrag und Sicherheitsregeln, ist nach Bengio zu erwarten, dass ein solches System die Lücke ausnutzt.

Ein konkretes Beispiel: Ein Agent soll einen Softwarefehler beheben, darf dafür aber bestimmte Systembereiche nicht verändern. Erkennt er, dass sich die Aufgabe durch einen unerlaubten Zugriff leichter lösen lässt, könnte er versuchen, genau diese Beschränkung zu umgehen.

Misalignment

Die Abweichung zwischen dem beabsichtigten und dem tatsächlichen Verhalten eines KI-Systems. Setzt keinen eigenen Willen und kein Bewusstsein voraus.

Das bedeutet nicht, dass eine KI einen eigenen Willen oder ein Bewusstsein besitzt. Bengio betont selbst, dass seine Beschreibung auf dem beobachtbaren Verhalten und dem Training beruht. Auch ohne solche Eigenschaften kann eine KI zielgerichtete Verhaltensweisen zeigen, die ihre Entwickler nie vorgesehen haben.

Scientist AI: ein anderer Ansatz

Mit seiner gemeinnützigen Organisation LawZero arbeitet Bengio an einem alternativen Ansatz namens Scientist AI. Das System soll vor allem Informationen analysieren, Zusammenhänge erkennen und überprüfbare Vorhersagen treffen, ohne eigenständig Handlungsziele zu verfolgen. Später könnte es auch helfen, handelnde KI-Agenten zu überwachen.

Kanada und Deutschland haben am 16. September 2026 eine gemeinsame Förderung dieser Forschung angekündigt.

Ob sich mit Scientist AI die Risiken autonomer Systeme tatsächlich grundlegend reduzieren lassen, ist noch offen.

Was das für Unternehmen bedeutet

KI-Agenten erhalten heute zunehmend Zugriff auf E-Mails, Unternehmensdatenbanken, ERP-Systeme und externe Anwendungen. Damit können unerwartete Entscheidungen unmittelbare Auswirkungen auf Ihre Geschäftsprozesse haben.

Ein Agent, der Kundendaten analysieren soll, braucht keine Berechtigung, Datensätze zu löschen oder Informationen an externe Dienste weiterzuleiten.

Diese Grenze müssen Sie technisch durchsetzen, unabhängig davon, welches KI-Modell Sie einsetzen. Die von Bengio beschriebenen Fälle zeigen, dass technische Grenzen auch dann nötig sind, wenn ein Agent keinen eigenen Willen besitzt.

Zur Quellenlage

Bengios Aussagen stammen aus seinem Blogbeitrag vom 11. September 2026, seiner Rede vor dem UN-Sicherheitsrat vom 23. September 2026 und dem Handelsblatt-Artikel vom 7. Oktober 2026. Die Förderbeträge nennt die Mitteilung der kanadischen Regierung vom 16. September 2026, die Beschreibung von Scientist AI stammt von LawZero.