WORUM GEHT ES BEI DATAPROVENANCE4GENAI?

Die jüngsten Fortschritte im Bereich der künstlichen Intelligenz werden maßgeblich durch generative Modelle (GMs) wie GPT, Llama und Stable Diffusion vorangetrieben. Da diese Modelle mit riesigen Datenmengen aus dem Internet trainiert werden und hochwertige Inhalte erzeugen, entstehen inzwischen Datenschleifen zwischen ihren Trainingsdaten und den von ihnen generierten Inhalten:

(1) Generative Modelle lernen unbeabsichtigt einzelne Trainingsbeispiele auswendig und geben diese später als generierte Inhalte wieder. Dies ist besonders problematisch, da Trainingsdaten häufig urheberrechtlich geschützte Inhalte umfassen, die ohne Zustimmung der Rechteinhaber verwendet wurden.

(2) Generative Modelle erzeugen Inhalte, die sich nicht mehr von echten Daten unterscheiden lassen. Dies erschwert die Erkennung von Desinformation und führt dazu, dass KI-generierte Inhalte aus dem Internet gesammelt und erneut als Trainingsdaten für neue generative Modelle verwendet werden.

Diese Datenschleifen verstärken bestehende Verzerrungen, reproduzieren schädliche Muster und beeinträchtigen die Leistungsfähigkeit der Modelle. Die zentrale Herausforderung liegt dabei in der Nachvollziehbarkeit der Herkunft und Verwendung von Daten (Data Provenance): Es wird zunehmend schwieriger festzustellen, welche Daten für das Training verwendet, unbeabsichtigt auswendig gelernt und schließlich von den Modellen generiert wurden.

Um dieser Herausforderung zu begegnen, baue ich auf einer zentralen Erkenntnis meiner bisherigen Forschung auf: Einzelne Signale, die Hinweise auf die Herkunft oder Verwendung von Daten liefern, sind häufig zu schwach, um nachgewiesen werden zu können. Dies gilt sowohl für einzelne Trainingsbeispiele als auch für digitale Markierungen. Durch robuste Verfahren, die mehrere gezielt ausgewählte Signale miteinander kombinieren, lassen sich jedoch Nachweise mit strengen statistischen Garantien ermöglichen. Auf Grundlage dieses Prinzips schlage ich ein neuartiges Verfahren zur Nachverfolgung von Daten in generativen Modellen vor, mit dem sich sowohl die für das Training verwendeten als auch die von den Modellen generierten Daten nachweisbar identifizieren lassen sollen.

Im Rahmen dieses Ansatzes verfolgt mein Projekt drei zentrale Forschungsziele:

(1) Memorisieren messbar machen: Entwicklung formaler Definitionen des Memorisierens in generativen Modellen sowie effizienter Verfahren, um dessen Ausmaß zu bestimmen.

(2) Verwendete Trainingsdaten zuverlässig nachweisen: Entwicklung von Verfahren, die verschiedene Signale zur Herkunft und Verwendung von Daten systematisch erfassen und kombinieren, um zuverlässig festzustellen, welche Daten für das Training genutzt wurden.

(3) Robuste digitale Markierungen entwickeln: Entwicklung von Verfahren zur Markierung von Daten, die auch dann wirksam bleiben, wenn die markierten Inhalte erneut zum Training neuer Modelle verwendet werden.

Diese grundlegenden Innovationen sollen es der Gesellschaft ermöglichen, von den außergewöhnlichen Fähigkeiten generativer KI zu profitieren und gleichzeitig die Verantwortlichkeit der Modelle zu stärken sowie dem Missbrauch von Daten entgegenzuwirken.