Datenlecks beim Training generativer KI (GenAI) entstehen durch Angriffe und Unfälle. Erfahren Sie, wie Sie Datenlecks verhindern und ihre Auswirkungen mindern.
Nach Lektüre dieses Artikels können Sie Folgendes:
Link zum Artikel kopieren
Generative KI (GenAI) kann Unternehmen produktiver machen, zu besseren Entscheidungen verhelfen und ihr Tempo enorm steigern – vorausgesetzt, die verwendeten großen Sprachmodelle (Large Language Models, LLMs) sind mit riesigen Mengen hochwertiger, relevanter Daten trainiert. Für die meisten Firmen gehören diese Trainingsdaten zu ihrem wertvollsten geistigen Eigentum. Dieses Wissen sicher in interne oder externe GenAI-Modelle einzubringen, verlangt einen ganzheitlichen Ansatz zur Identifizierung und Minimierung von Risiken
GenAI verwendet Deep-Learning-Modelle, um Inhalte zu erstellen, hauptsächlich Text, Bilder, Audio, Video oder Computercode. Dazu werden diese Modelle mit großen Mengen an Rohdaten trainiert, meist in der Form, in der das Modell die Daten ausgeben wird. Mit anderen Worten: Textgenerierungsmodelle werden mit Text trainiert, Videogeneratoren mit Video usw.
Geleitet von Algorithmen durchforstet ein Modell seine Trainingsdaten und analysiert sie auf passende Konzepte, Bilder oder Muster. Über mehrere Trainings- und Feinabstimmungsrunden nutzt es dieses Wissen, um rasch auf Nutzereingaben mit neuem, relevantem Inhalt zu reagieren.
Musik ist ein treffender Vergleich: Tonleitern, Akkordfolgen und bestehende Songs dienen als Trainingsdaten. Eine Musikerin oder ein Musiker (wie ein GenAI-Modell) studiert sie, erkennt wirkungsvolle Muster und erschafft daraus neue Soli, Progressionen und Stücke – die GenAI-Outputs.
In der Unternehmens-IT nutzen Organisationen häufig ihre eigenen Trainingsdaten, um GenAI-Modelle zu erstellen oder bestehende Modelle für bestimmte Aufgaben feinzujustieren. Trainingsdaten finden sich etwa hier:
Da generative Modelle auf Skalierung angewiesen sind, beziehen viele Unternehmen sowohl interne als auch externe Daten mit ein. Aus Sicherheitssicht ist diese Mischung jedoch riskant. Interne Daten werden häufig besser geprüft. Die Vermischung von sensiblen oder proprietären Informationen mit externen Daten kann neue Vektoren für nachgelagerte Datenlecks durch moderne Inversions- oder Prompt-basierte Angriffe schaffen.
Datenlecks bei Trainingsdaten treten auf, wenn sensible, private oder proprietäre Inhalte aus den Trainingsdaten des Modells offengelegt werden – entweder direkt oder indirekt –, und zwar über Modellausgaben, Inferenzabfragen,Protokolle oder zusätzliche Artefakte (wie Einbettungen). ‚Memorization Leakage‘ ist eine spezielle Form davon, bei der das Modell Teile seiner Trainingsdaten in den Ausgaben wortwörtlich wiedergibt.
Datenlecks können an verschiedenen Stellen im GenAI-Lebenszyklus auftreten:
Es gibt mehrere sich überschneidende Gründe, warum Unternehmen – vor allem solche mit sensiblen oder regulierten Daten – ihre KI-Pipelines genauso sorgfältig absichern müssen wie andere IT-Assets.
KI-Projekte greifen häufig auf interne, proprietäre oder regulierte Daten zurück: Kundendaten, Finanzunterlagen, Rechtsverträge, Geschäftsgeheimnisse, Quellcode und vieles mehr. Wenn das Modell persönlich identifizierbare Informationen (PII) oder Geschäftsgeheimnisse preisgibt, kann der Schaden erheblich sein. Diese Lecks können zu Identitätsdiebstahl, Wettbewerbsgefährdung, regulatorischen Geldbußen, Rufschädigung und dem Diebstahl von geistigem Eigentum führen.
Selbst wenn nur Fragmente (z. B. Namen, Adressen, kleine Code-Snippets) verloren gehen, können diese aggregiert oder mit externen Daten korreliert werden, um eine größere Sicherheitsverletzung zu verursachen.
Datenschutzgesetze – einschließlich der Datenschutz-Grundverordnung (DSGVO) in Europa, des California Consumer Privacy Act (CCPA) und branchenspezifischer Regeln wie des Health Insurance Portability and Accountability Act (HIPAA) in den USA – legen strenge Verpflichtungen in Bezug auf den Umgang mit personenbezogenen Daten, Minimierung, Einwilligung und Benachrichtigung bei Verstößen fest. Gibt ein Modell personenbezogene Daten oder persönliche Attribute preis, könnte dies einen Gesetzesverstoß des Unternehmens darstellen – inklusive Strafen, Berichtspflichten, Prüfungen und Klagerisiken.
Die größten Bedrohungen für Modelltrainingsdaten lassen sich in drei Kategorien einteilen: böswillige Angriffe, Bedrohungen aufgrund mangelnder Transparenz bei der KI-Nutzung sowie API- und Endpunktschwachstellen.
Insider-Angriffe: Insider-Bedrohungen sind ein bekanntes Problem: Ein privilegierter Entwickler, ML-Engineer oder Data Scientist könnte absichtlich Trainingsdaten entwenden oder sensible Beispiele in Datensätze einfügen. Sie könnten auf Trainingsprotokolle, Parameter-Dumps, Prompt-Logs oder zwischengespeicherte Artefakte zugreifen, um sensible Inhalte auszulesen oder zu rekonstruieren. Da diese Teammitglieder oft über legitimen Zugriff verfügen, erfordert das Erkennen böswilligen Verhaltens robuste Überwachung, umfassendes Logging und eine klare Trennung von Zuständigkeiten.
Modellinversionsangriffe: Bei Model-Inversion- (und Membership-Inference-)Angriffen versuchen Angreifer zu rekonstruieren oder zu bestätigen, ob bestimmte Datenpunkte Teil des Trainingsdatensatzes waren. Durch gezielt formulierte Abfragen oder das Auslesen der Konfidenzwerte des Modells können sie private Pixelinformationen (bei Vision-Modellen) oder Textdaten (bei LLMs) aus dem Modell zurückgewinnen.
Mit anderen Worten: Das „Blackbox“-Modell wird zu einer Linse, durch die Angreifer private Daten wiederherstellen können.
Neben der Inversion sind feindliche Abfrageangriffe, Modellexfiltration oder der „Diebstahl“ eines Modells durch kontinuierliche Abfragen zusätzliche Bedrohungen.
Diese Risiken entstehen durch die Art und Weise, wie Teams generative KI-Tools einführen und nutzen – oftmals unkontrolliert.
Schatten-KI: „Schatten-KI“ bezeichnet die Verwendung von KI-Tools ohne Aufsicht, Überprüfung oder Integration in zentrale Kontrollmechanismen. Solche KI-Werkzeuge laden möglicherweise interne Dateien oder Informationen in externe Modelle hoch und schaffen dadurch Transparenzlücken und unerwartete Datenexpositionen ohne Wissen des Sicherheitsteams.
Unzureichende Zugriffskontrollen: Sind die Berechtigungen für Trainingsdaten, Einbettungen, Prompt-Protokolle, Zwischendarstellungen oder Modellgewichte zu weit gefasst, können Benutzer oder Systeme, die keinen vollständigen Zugriff benötigen, versehentlich sensible Inhalte einsehen oder diese ungewollt weitergeben. Oft liegen die Ursachen in übermäßig privilegierten Benutzerrollen oder einer nachlässigen rollenbasierten Zugriffskontrolle (RBAC).
Unbeabsichtigte Gefährdung durch GenAI-Eingaben und -Ausgaben: Manchmal kommt es unbeabsichtigt zu Datenlecks über Eingabe- oder Ausgabekanäle von Modellen. Ein interner Trainings-Prompt kann sensible Inhalte enthalten, oder ein Nutzer gibt unabsichtlich proprietäre Daten in ein interaktives Modell ein. Das Modell könnte Teile dieser sensiblen Eingaben in seiner Antwort wiederholen, um „hilfreich“ zu sein – und sie damit nachgelagerten Systemen offenbaren. Ebenso können Protokolle oder archivierte Prompt-/Antwort-Sitzungen unbeabsichtigt zu einem Speicherort privater Daten werden.
Wenn Modelle über APIs bereitgestellt werden, stellen sie ein zusätzliches Risiko für die Serviceinfrastruktur dar. Wenn Authentifizierung, Rate Limiting, Endpunktbereinigung oder Eingabefilterung schwach sind, können Angreifer Folgendes starten:
Um die Risiken von Trainingsdaten zu reduzieren, müssen Unternehmen einen umfassenden Sicherheitsansatz verfolgen, der technische, richtlinienbasierte und organisatorische Lösungen miteinander verbindet. Diese Lösungen sollten Folgendes bieten:
Zu wissen, welche KI-Modelle, Tools und Anwendungen Ihre Teams verwenden, ist der erste Schritt, um die Wahrscheinlichkeit zu verringern, dass eines davon Trainingsdaten offenlegt.
Sobald Sie sich einen vollständigen Überblick über die von Ihren Teams genutzten Anwendungen verschafft haben, analysieren Sie diese auf potenzielle Schwachstellen und Angriffspfade.
Stellen Sie sicher, dass nur die richtigen autorisierten Benutzer zum richtigen Zeitpunkt auf die richtigen Informationen zugreifen.
Vom Training über die Validierung bis zur Inferenz: Mehrschichtige Schutzmaßnahmen während des gesamten KI-Entwicklungszyklus, um die Privatsphäre und Integrität der Daten zu gewährleisten.
Die effektivsten Lösungen für den Schutz von KI-Trainingsdaten versetzen Teams in die Lage, Best Practices zu übernehmen, ohne die Komplexität bestehender Systeme zu erhöhen. Die Cloudflare AI Security Suite bietet Transparenz und Sicherheitskontrollen, die Unternehmen bei der Standardisierung und Vereinfachung ihres Ansatzes zum Schutz von generativer und agentenbasierter KI unterstützen. Diese einheitliche Plattform vereint Konnektivität, Secure Access Service Edge (SASE)-Funktionen wie Netzwerk- und Anwendungssicherheit sowie Entwicklertools in einer einzigen Lösung, mit der Sie KI-Sicherheitsherausforderungen mit Zuversicht begegnen können.
Erfahren Sie mehr über die Sicherung von KI-Systemen mit der Cloudflare AI Security Suite.
GenAI-Modelle werden mit großen Mengen an Rohdaten, wie Text, Bildern oder Videos, trainiert. Diese Trainingsdaten können aus internen Dokumenten, Kundenkorrespondenz, firmeneigenen Wissensdatenbanken oder externen öffentlichen Quellen stammen.
Datenlecks bei Trainingsdaten treten auf, wenn sensible, private oder geschützte Inhalte aus den Trainingsdaten direkt oder indirekt durch Modellausgaben, Protokolle, Inferenzabfragen oder Hilfsartefakte offengelegt werden. Datenlecks können während der Trainingsphase, der Inferenzphase oder durch Gradienten- oder Parameterlecks beim verteilten Training auftreten.
Der Schutz von KI-Trainingsdaten ist von entscheidender Bedeutung, da diese Daten häufig wertvolle, firmeneigene oder regulierte Informationen wie Geschäftsgeheimnisse, Kundendaten und Finanzunterlagen umfassen. Das Durchsickern dieser Daten kann zu schwerwiegenden Schäden führen, einschließlich Identitätsdiebstahl, Wettbewerbsgefährdung, Bußgeldern (wie unter DSGVO oder HIPAA), Rufschädigung und Diebstahl geistigen Eigentums.
Die größten Sicherheitsrisiken für Modelltrainingsdaten lassen sich in drei Hauptkategorien einteilen: böswillige Angriffe, Bedrohungen aufgrund mangelnder Transparenz bei der KI-Nutzung sowie API- und Endpunkt-Schwachstellen. Beispiele hierfür sind Insider-Angriffe, „Schatten-KI“ (unkontrollierte Nutzung von KI-Tools) und Prompt-Injection-Angriffe, die auf API-offene Modelle abzielen.
Ein Modellinversionsangriff versucht, zu rekonstruieren oder zu bestätigen, ob bestimmte Datenpunkte im Trainingsdatensatz enthalten waren. Angreifer erreichen dies, indem sie Abfragen erstellen oder die Konfidenzverteilungen des Modells untersuchen. Im Wesentlichen verwenden sie das „Black-Box“-Modell als eine Art Linse, um private Daten wiederherzustellen, wie z. B. private Text- oder Pixelinformationen.
„Schatten-KI“ bezeichnet die Verwendung von KI-Tools ohne zentrale Aufsicht, Überprüfung oder Integration mit Sicherheitskontrollen. Dies schafft blinde Flecken für Sicherheitsteams, da Mitarbeitende interne Dokumente oder Daten auf nicht autorisierte Drittanbietermodelle hochladen und dadurch sensible oder proprietäre Informationen offenlegen können.
Um die Risiken von Trainingsdaten zu minimieren, sollten Unternehmen Lösungen implementieren, die Folgendes bieten: (1) Einblick in die KI-Nutzung; (2) eine umfassende Risikobewertung der KI-Umgebung; (3) eine absolut sichere Zugriffskontrolle; und (4) Datensicherheit gemäß Best Practices in der gesamten KI-Pipeline.
Best Practices zur Datensicherheit lassen sich entlang des gesamten KI-Lebenszyklus anwenden und umfassen: Datenminimierung und -anonymisierung, Bereinigung und Filterung, Rauschinjektion sowie die Filterung von Modellausgaben zur Blockierung oder Bereinigung sensibler Inhalte.
---