Das Unternehmen Anthropic hat ein neues Sicherheitssystem für sein Sprachmodell Claude entwickelt, um sogenannte Jailbreaks zu verhindern. Diese Angriffe zielen darauf ab, die Sicherheitsvorkehrungen von KI-Systemen zu umgehen und sie dazu zu bringen, unerwünschte oder schädliche Inhalte zu generieren. Das neue System, bekannt als Constitutional Classifiers, filtert problematische Anfragen heraus, bevor sie vom KI-Modell verarbeitet werden. In Tests zeigte sich das System in 95 Prozent der Fälle erfolgreich. Allerdings gibt es auch Nachteile bei der Implementierung, wie beispielsweise die Möglichkeit, dass legitime Anfragen fälschlicherweise blockiert werden. ​

💡 Unser Takeaway: Die Entwicklung von Sicherheitsmechanismen wie den Constitutional Classifiers ist ein wichtiger Schritt, um die Integrität von KI-Systemen zu gewährleisten. Dennoch müssen mögliche Einschränkungen und Fehlalarme berücksichtigt werden, um eine optimale Balance zwischen Sicherheit und Funktionalität zu erreichen.​

👉 Zum ganzen Artikel: BigData-Insider: KI testet Algorithmus zum verlässlichen Unterbinden von ‘KI-Jailbreaks’