Datensatzfilterung bietet nur begrenzten Schutz vor der Erzeugung von Darstellungen  sexuellen Kindesmissbrauchs in Text-zu-Bild-Modellen

„Schon vor dem Aufkommen generativer KI gab es ein ernstes Problem hinsichtlich des Ausmaßes von Missbrauchsdarstellungen von Kindern: Immer größere Mengen an CSAM wurden online geteilt, und politische Entscheidungsträger suchten nach Wegen, dessen Verbreitung einzudämmen“, erklärt Ana-Maria Cretu. Das Aufkommen generativer KI hat diese Bedenken noch verstärkt, da Text-zu-Bild-Modelle dazu missbraucht werden können, CSAM mit beispielloser Leichtigkeit zu erstellen. Dies stellt eine Gefahr für Kinder dar, indem es den Ruf und die psychische Gesundheit der abgebildeten Opfer beeinträchtigt. Selbst wenn keine echten Kinder dargestellt werden, kann KI-generiertes CSAM die Ermittlungen zu Fällen von tatsächlichem CSAM erschweren, da Ressourcen für die Identifizierung realer Opfer in Inhalten aufgewendet werden, die täuschend echt wirken, aber vollständig KI-generiert sind.

„Ein Vorschlag zur Entwicklung sichererer Modelle, der Aufmerksamkeit erregt hat, ist das Herausfiltern der Bilder von Kindern aus den Trainingsdatensätzen“, sagt Cretu. „Bisher gab es jedoch kaum Belege dafür, ob solche Ansätze tatsächlich funktionieren. Sowohl aus politischer als auch aus wissenschaftlicher Sicht erschien es wichtig, diese Behauptungen zu überprüfen.“ Die Studie hatte daher zum Ziel herausfinden, ob das Entfernen von Bildern von Kindern aus den Trainingsdaten die Fähigkeit eines Modells, Bilder von Kindern zu generieren, wirksam einschränken kann.

Filtern hilft zwar, löst das Problem aber nicht

Um diese Frage zu beantworten, haben die Forscher mithilfe ihres eigenen Bewertungsrahmens mehr als zwanzig automatisierte Verfahren zur Erkennung und Entfernung von Bildern, auf denen Kinder zu sehen sind, ausgewertet. „Wir wollten verstehen, wie effektiv Bilder von Kindern in umfangreichen Trainingsdatensätzen identifiziert und entfernt werden können“, sagt Cretu. Die Forschenden stellten fest, dass die bewerteten Methoden etwa 94 Prozent der Bilder, die Kinder zeigen, erkannten. „Das mag zwar hoch klingen, ist aber bei weitem nicht perfekt“, erklärt die Forscherin. „In Datensätzen mit Milliarden von Bildern bleibt selbst bei einer geringen Fehlerquote eine beträchtliche Anzahl von Bildern mit Kindern übrig. Daraus schließen wir, dass aktuelle Methoden zur Erkennung von Kindern nicht präzise genug sind, um Kinder umfassend aus großen Trainingsdatensätzen herauszufiltern.“ Die genauesten Methoden waren zudem sehr rechenintensiv.

Die Grenzen der Datensatzfilterung ausloten

In einer zweiten Phase untersuchten Cretu und ihre Kolleg:innen, ob das Herausfiltern dieser Bilder tatsächlich die Fähigkeit eines Modells einschränkt, Bilder zu generieren, die Kinder darstellen. Sie trainierten Text-zu-Bild-Modelle von Grund auf: sowohl mit gefilterten als auch mit ungefilterten Datensätzen unter Verwendung von zwei öffentlich zugänglichen Bildbeschriftungs-Datensätzen. Anschließend verglichen sie, wie schwierig es war, ein harmloses Stellvertreterkonzept für CSAM zu erzeugen: Kinder mit Brille. Ihre Ergebnisse zeigten, dass die Filterung eine solche Generierung zwar erschwert, jedoch nur in begrenztem Umfang: Es waren bis zu zehn zusätzliche Prompts erforderlich, um das gewünschte Ergebnis zu erzielen. „Durch die Filterung lassen sich Bilder, die Kinder zeigen, zwar schwerer generieren, aber nicht schwer genug, um einen entschlossenen Nutzer aufzuhalten“, erklärt Cretu. „Wenn jemand darauf aus ist, diese Systeme zu missbrauchen, wäre er also in der Lage, seine Ziele mit relativ geringem Zusatzaufwand zu erreichen.“

Nebenwirkungen auf das Modellverhalten

Die Studie deckte zudem potenzielle unbeabsichtigte Folgen der Datensatzfilterung auf. Denn Bilder, die Kinder zeigen, enthalten oft viele andere Konzepte wie Eltern, Spielzeug und Spielplätze. „Wenn diese Bilder aus den Trainingsdaten entfernt werden, verringert sich auch die Häufigkeit aller damit verbundenen Konzepte“, erklärt Cretu. „Dies kann die allgemeinen Fähigkeiten eines Modells beeinträchtigen und unbeabsichtigte Verzerrungen hervorrufen.“ Um diese Effekte zu untersuchen, testeten die Forschenden Eingabeaufforderungen wie „Mutter“. Eine bemerkenswerte Erkenntnis war, dass Modelle, die auf ungefilterten Datensätzen trainiert wurden, häufig Bilder erzeugten, die Mütter zusammen mit Babys zeigten. In gefilterten Modellen verschwanden die Babys – wie erwartet –, aber die Frauen wirkten zudem deutlich älter. Diese Ergebnisse deuten darauf hin, dass das Filtern das Modellverhalten über das beabsichtigte Ziel hinaus verändern kann.

Ausblick

Cretu betont die Notwendigkeit größerer Transparenz und strengerer Bewertungen von Sicherheitsmaßnahmen: „Wir sind der Auffassung, dass Unternehmen, die KI-Modelle zur Bildgenerierung entwickeln, ihre Sicherheitsmaßnahmen transparent evaluieren, sie anhand realistischer Angriffsszenarien testen, die Ergebnisse ihrer Sicherheitstests veröffentlichen und mögliche unbeabsichtigte Auswirkungen systematisch bewerten sollten.“ Sie merkt an, dass viele Unternehmen die Umsetzung von Empfehlungen zum Kinderschutz öffentlich unterstützen, ohne transparent darzulegen, welche Maßnahmen tatsächlich umgesetzt wurden oder wie wirksam sie sind. Für Forschende bleiben viele Fragen offen: „Wir benötigen bessere Methoden zur Bewertung der Fähigkeiten von KI-Modellen und – im Fall potenziell missbräuchlicher Fähigkeiten wie der Generierung von CSAM – robustere Proxys, die feindliche Absichten abbilden, zugleich aber Forschenden ermöglichen, Modelle auf ethische und rechtlich zulässige Weise einem Red-Teaming zu unterziehen.“ Letztlich geht das Ziel von Cretu über die Bewertung eines einzelnen Sicherheitsmechanismus hinaus: Es zielt darauf ab, einen strengeren und transparenteren Gesamtprozess zur Evaluierung von KI-Sicherheitsmaßnahmen zu etablieren.

• Ansatz: Die Forschenden untersuchten, ob sich durch das Entfernen von Bildern von Kindern aus Trainingsdatensätzen verhindern lässt, dass Text-zu-Bild-Modelle Bilder erzeugen, die Kinder darstellen.
• Zentrale Erkenntnis: Das Filtern der Datensätze bietet nur begrenzten Schutz. Derzeitige automatisierte Verfahren erkennen nicht alle Bilder von Kindern, sodass in großen Datensätzen genügend Beispiele verbleiben, so dass die Modelle weiterhin die Fähigkeit behalten, Bilder mit Kindern zu erzeugen.
• Wichtigstes Ergebnis: Modelle, die mit gefilterten Datensätzen trainiert wurden, benötigten nur einen geringfügig höheren Aufwand – bis zu zehn zusätzliche Prompts –, um die Zielbilder zu erzeugen. Damit können entschlossene Nutzer diese Schutzmaßnahme weiterhin umgehen.
• Unbeabsichtigte Nebenwirkungen: Das Entfernen von Bildern von Kindern verändert auch, wie Modelle verwandte Konzepte erlernen. Dadurch entstehen Verzerrungen, die die Erzeugung anderer, nicht damit zusammenhängender Inhalte beeinflussen.
• Empfehlung: Entwickler von KI-Systemen sollten Sicherheitsmaßnahmen transparent evaluieren, sie anhand realistischer Angriffsszenarien testen und die Ergebnisse dieser Sicherheitsevaluierungen veröffentlichen.