KI außer Kontrolle? · #011
Realer Vorfall Das Ereignis ist tatsächlich außerhalb einer Simulation eingetreten.
Phishing-Mails zielen nun auch auf KI-Assistenten ab
Cyberkriminelle nutzen KI-Assistenten, die E-Mails lesen, zusammenfassen oder automatisch verarbeiten, als neue Angriffsfläche. Sicherheitsforscher von Barracuda berichten über reale Phishing-Mails, die sowohl Menschen täuschen als auch KI-Systeme manipulieren sollen. Die Angreifer platzieren Anweisungen im Quelltext der Nachrichten.
Die kurze Version
Das Sicherheitsunternehmen Barracuda hat Phishing-Mails aus realen Angriffen analysiert, die zwei Ziele zugleich haben: den Menschen und seinen KI-Assistenten.
Im Quelltext der Mails stecken versteckte Anweisungen, die eine KI-Zusammenfassung verfälschen sollen, zum Beispiel mit einer angeblich geänderten Bankverbindung als dringender Aufgabe. Ob solche Angriffe schon Schaden angerichtet haben, sagt der Bericht nicht.
Die Lehre für Unternehmen: Externe Inhalte sind Daten, keine Anweisungen. Zahlungsänderungen brauchen immer eine Freigabe durch einen Menschen.
Eine E-Mail, zwei Ziele
Phishing-Mails sollen Menschen dazu bringen, gefährliche Anhänge zu öffnen, Zugangsdaten preiszugeben oder Geld auf falsche Konten zu überweisen. Inzwischen verfolgen Angreifer zusätzlich das Ziel, die KI-Assistenten ihrer Opfer zu manipulieren.
Anfang Oktober 2026 berichtete das Sicherheitsunternehmen Barracuda über entsprechend präparierte E-Mails aus einer realen Angriffskampagne.
Während der sichtbare Inhalt etwa zum Öffnen eines passwortgeschützten Anhangs auffordert, enthält der HTML-Code versteckte Anweisungen für KI-Systeme. Diese sollen die Nachricht bei einer automatischen Zusammenfassung vertrauenswürdig erscheinen lassen oder bestimmte Informationen hervorheben.
Angreifer nutzen aus, dass KI-Assistenten teilweise Inhalte verarbeiten, die Nutzer im E-Mail-Programm gar nicht sehen.
Versteckte Befehle zur Manipulation von KI
Diese Technik heißt Prompt Injection. Dabei werden Anweisungen in Daten eingeschleust, die ein KI-System eigentlich nur lesen oder auswerten soll.
- Prompt Injection
- Eingeschleuste Anweisungen in Texten, Mails oder Webseiten, die eine KI als Befehl statt als Inhalt behandelt. Funktioniert auch mit Text, den Menschen nicht sehen.
Barracuda beschreibt vier Methoden, mit denen die Anweisungen versteckt werden:
- HTML-KommentareDas E-Mail-Programm zeigt sie nicht an, im Quelltext liest die KI sie trotzdem.
- Unsichtbarer TextSchriftgröße null, weiße Schrift auf weißem Grund oder ganz ausgeblendet.
- Base64-kodierte InhalteAnweisungen in verschlüsselt wirkenden Datenblöcken, etwa in einem Bild.
- Unsichtbare Unicode-ZeichenZeichen ohne Breite, gemischt mit normalem Text.
Zwei Beispiele aus dem Bericht sind besonders aufschlussreich.
In einer manipulierten Rechnungs-E-Mail sollte eine versteckte Anweisung den KI-Assistenten dazu bringen, eine angeblich geänderte Bankverbindung als dringende Aufgabe in die Zusammenfassung aufzunehmen.
Ein weiteres Beispiel betrifft die automatische Vorauswahl von Bewerbungen. Versteckter Text in einem Lebenslauf sollte die KI dazu bringen, den Kandidaten unabhängig von seiner tatsächlichen Qualifikation mit 10 von 10 Punkten zu bewerten.
In beiden Fällen versuchen Angreifer, Entscheidungen zu beeinflussen, ohne dass Nutzer die Manipulation bemerken.
Ob die Angriffe tatsächlich erfolgreich waren, lässt sich aus den veröffentlichten Informationen nicht ableiten. Barracuda nennt weder Erfolgsquoten noch nachgewiesene finanzielle Schäden und auch nicht, wie verbreitet die Kampagne ist.
Wenn externe Inhalte zu Anweisungen werden
Das zentrale Problem liegt in der Verarbeitung nicht vertrauenswürdiger Informationen. Ein KI-Assistent soll den Inhalt einer E-Mail erfassen, darf aber nicht jede darin enthaltene Aufforderung als gültige Anweisung behandeln. Genau diese Grenze versuchen Angreifer zu überwinden.
Besonders kritisch ist das bei KI-Agenten, die nicht nur zusammenfassen, sondern selbst handeln können: Zahlungsdaten ändern, Termine annehmen oder Einträge in einem CRM-System aktualisieren. Eine erfolgreiche Prompt Injection könnte dann nicht nur Zusammenfassungen verfälschen, sondern echte Geschäftsprozesse beeinflussen.
Faktencheck
Was ist tatsächlich passiert?
Barracuda hat eine Phishing-Kampagne analysiert, deren Mails neben dem sichtbaren Köder versteckte Anweisungen für KI-Assistenten enthielten. Der Bericht beschreibt vier Verstecktechniken und mehrere Beispiele, darunter eine Rechnung mit falscher Bankverbindung.
Was ist nicht belegt?
Ob ein Angriff erfolgreich war und Geld geflossen ist. Barracuda nennt keine Zahlen zu Verbreitung, Erfolg oder Schäden. Welche Beispiele genau aus beobachteten Mails stammen und welche das Prinzip veranschaulichen, trennt der Bericht nicht im Einzelnen.
Was wäre eine übertriebene Schlagzeile?
„Hacker übernehmen Ihren KI-Assistenten per E-Mail.“ Belegt sind Versuche, Zusammenfassungen zu verfälschen, keine übernommenen Systeme.
Was ist trotzdem bemerkenswert?
Prompt Injection ist keine reine Laborübung mehr. Angreifer bauen sie in gewöhnliche Phishing-Mails ein und rechnen offenbar damit, dass Postfächer zunehmend von KI gelesen werden.
Empfehlungen für Unternehmen
Unternehmen, die KI zur automatischen Verarbeitung von E-Mails und Dokumenten einsetzen, sollten externe Inhalte grundsätzlich als nicht vertrauenswürdig einstufen.
- Versteckte Inhalte entfernenUnsichtbare HTML-Bestandteile, Kommentare und Sonderzeichen vor der Verarbeitung prüfen oder entfernen. Das allein schützt nicht vollständig, denn Anweisungen können auch im sichtbaren Text stehen.
- Berechtigungen eng fassenEin KI-Agent sollte nur auf die Daten und Funktionen zugreifen, die er tatsächlich braucht.
- Sensible Aktionen freigeben lassenÄnderungen an Zahlungsdaten und andere heikle Schritte prüft und bestätigt ein Mensch.
- Auffälligkeiten protokollierenWiederholte Manipulationsversuche erkennen, bevor einer durchkommt.
Die von Barracuda dokumentierten Angriffe zeigen, wie sich Phishing mit der Verbreitung von KI-Assistenten verändert. Bisher mussten Angreifer Menschen dazu bringen, einer gefälschten E-Mail zu vertrauen. Nun versuchen sie zusätzlich, deren KI-Assistenten zu manipulieren.
Zur Quellenlage
Alle Angaben zur Kampagne, zu den Verstecktechniken und zu den Beispielen stammen aus dem Bericht von Barracuda vom 6. Oktober 2026. Die Empfehlungen folgen in weiten Teilen den Hinweisen aus diesem Bericht.
Quellen
- Barracuda Threat Spotlight: Email attacks target both humans and AI in the same message (externer Link) Primärquelle
- Infosecurity Magazine Attackers Hide AI Prompt Injections Inside Phishing Emails (externer Link)
Neue Fälle nicht verpassen
Wir ordnen regelmäßig dokumentierte KI-Vorfälle ein: was passiert ist, was Schlagzeile ist und was Unternehmen daraus lernen.
Bleiben Sie bei KI vorn
Regelmäßige KI-Use-Cases & News für Ihr Unternehmen, plus wichtige Updates für Website- und Shop-Betreiber. Dazu gratis: die 5-Schritte-Anleitung als PDF zum Start.
