Zusammenfassung:

Google hat VaultGemma vorgestellt, das fortschrittlichste Modell, das von Grund auf mit Differential Privacy (DP) trainiert wurde. Diese Technologie schützt die Privatsphäre, indem sie Rauschen hinzufügt, um die Daten sicher zu halten. Das Forschungsteam entwickelte Skalierungsgesetze, die die Komplexität der Wechselwirkungen zwischen Computerleistung, Datenschutz und Datenbudget modellieren.

• VaultGemma hat 1 Milliarde Parameter und bietet starke theoretische und empirische Privatsphäregarantien.
• Das Modell wurde auf Plattformen wie Hugging Face und Kaggle zusammen mit einem technischen Bericht veröffentlicht, um die Entwicklung zukünftiger privater KI-Modelle zu fördern.
• Die Forschung zeigt, dass mit DP trainierte Modelle in ihrer Leistung vergleichbar mit nicht-privaten Modellen von vor etwa fünf Jahren sind.
• VaultGemma demonstriert keinen nachweisbaren Gedächtnisverlust seiner Trainingsdaten, was die Wirksamkeit des DP-Trainings unterstreicht.
• Das Modell kann statistisch zuverlässige Informationen liefern, solange sie in mehreren Trainingseinheiten vorkommen.
• VaultGemma stellt einen bedeutenden Fortschritt in der Entwicklung leistungsstarker und gleichzeitig privater KI dar.

👉 Zum ganzen Artikel: VaultGemma: The world’s most capable differentially private LLM