Generative KI-Modelle wie GPT und Llama werden mit riesigen Datenmengen trainiert, die unter anderem aus dem Internet stammen. Der Umfang und die Vielfalt dieser Daten machen generative Modelle leistungsfähig und ermöglichen es ihnen, unterschiedlichste Inhalte zu erzeugen, von komplexen Texten bis hin zu fotorealistischen Bildern. Allerdings können die Trainingsdatensätze auch urheberrechtlich geschützte Werke von Künstler:innen, Autor:innen und anderen Kreativen enthalten. Zudem können generative Modelle unbeabsichtigt einzelne Trainingsbeispiele auswendig lernen und später nahezu unverändert wiedergeben, teilweise Wort für Wort in Texten oder Pixel für Pixel in Bildern.
Da KI-generierte Inhalte immer schwerer von menschlich erstellten zu unterscheiden sind, können sie zur Verbreitung von Desinformation eingesetzt werden. Zudem werden sie zunehmend selbst wieder als Trainingsdaten für neue Modelle verwendet. So entstehen Datenschleifen, die bestehende Verzerrungen verstärken, problematische Muster reproduzieren und die Leistungsfähigkeit von KI-Modellen beeinträchtigen können. Dziedzics Projekt will diese Probleme gemeinsam angehen und Werkzeuge entwickeln, mit denen sich nachvollziehen lässt, woher Daten stammen und wie sie verwendet werden.
Viele schwache Signale ergeben einen starken Nachweis
Damit generative KI-Modelle ihre Aufgaben erfüllen können, müssen sie aus Trainingsdaten allgemeine Muster lernen. Problematisch wird es, wenn sie sich einzelne Trainingsbeispiele so genau einprägen, dass sie diese später nahezu unverändert reproduzieren können. Dziedzic will deshalb neue mathematische Definitionen und Messverfahren entwickeln, mit denen sich bestimmen lässt, in welchem Ausmaß Modelle solche Informationen auswendig lernen. Daraus können sich auch Hinweise darauf ergeben, ob bestimmte Daten überhaupt für das Training verwendet wurden. Forschende können dazu beispielsweise untersuchen, welche Wahrscheinlichkeiten ein Modell seinen Ausgaben zuweist oder wie genau es einzelne Datenbeispiele rekonstruieren kann.
Mit der zunehmenden Größe generativer KI-Modelle und ihrer Trainingsdatensätze stoßen bisherige Verfahren jedoch an Grenzen. „Unsere zentrale Erkenntnis ist, dass viele schwache Hinweise zusammen einen starken Nachweis ermöglichen können“, erklärt Dziedzic. „Ein einzelnes Bild oder ein Textabschnitt verrät möglicherweise nur wenig darüber, ob er für das Training verwendet wurde. Indem wir verschiedene Signale über viele Datenpunkte hinweg kombinieren und, wo möglich, robuste digitale Wasserzeichen hinzufügen, wollen wir zuverlässige Nachweise mit statistischen Garantien ermöglichen.“
Digitale Markierungen, die KI-Modelle nicht vergessen
Ein weiterer Bestandteil des Projekts ist die sogenannte „Data Radioactivity“. Die Idee orientiert sich an einem Verfahren aus der Medizin: Dort helfen radioaktive Markierungen dabei, nachzuverfolgen, wie sich bestimmte Substanzen im Körper verteilen. Nach einem ähnlichen Prinzip will das Forschungsteam digitale Marker entwickeln. „Dabei handelt es sich natürlich nicht um echte Radioaktivität, sondern um subtile Muster, die in Inhalte eingebettet werden“, erklärt Dziedzic. Anders als herkömmliche digitale Wasserzeichen sollen diese Markierungen auch dann noch nachweisbar sein, wenn die gekennzeichneten Inhalte zum Training neuer KI-Modelle verwendet wurden. Ihre Spuren sollen sich später in den generierten Inhalten wiederfinden lassen. So könnten sie helfen, verwendete Trainingsdaten nachzuweisen und KI-generierte Inhalte zu erkennen.
Dziedzic konnte bereits zeigen, dass sich solche „radioaktiven“ Wasserzeichenmuster für eine bestimmte Klasse bildgenerierender KI-Modelle entwickeln lassen. Im neuen Projekt will er den Ansatz weiterentwickeln und mit anderen Verfahren zum Nachweis verwendeter Trainingsdaten verbinden.
ERC Grant schafft Freiraum für Grundlagenforschung
„Für mich persönlich ist der Erhalt eines ERC Grants eine große Ehre und eine Anerkennung für mehr als ein Jahrzehnt Forschung. Er ist zudem ein Vertrauensbeweis für eine ehrgeizige Idee und für meine Fähigkeit, ein Team aufzubauen, das diese Idee umsetzen kann“, sagt Dziedzic. Die Förderung gebe ihm die Zeit und Freiheit, grundlegende wissenschaftliche Fragen eingehend zu untersuchen und die daraus gewonnenen Erkenntnisse in praktische Werkzeuge für vertrauenswürdige KI zu überführen. „Ich hoffe, dass unsere Forschung dazu beiträgt, Europas Anspruch an transparente KI in konkrete technische Möglichkeiten zu übersetzen, die sowohl Menschen als auch KI-Unternehmen tatsächlich nutzen können.“
Über den ERC
Der Europäische Forschungsrat (European Research Council, ERC) wurde 2007 von der Europäischen Union gegründet und ist die führende europäische Förderorganisation für exzellente Pionierforschung. Er unterstützt kreative Forschende unabhängig von ihrer Nationalität und ihrem Alter bei der Durchführung von Forschungsprojekten in Europa.
Der ERC bietet vier zentrale Förderprogramme an: Starting Grants, Consolidator Grants, Advanced Grants und Synergy Grants. Mit dem zusätzlichen Förderprogramm Proof of Concept unterstützt er bereits geförderte Forschende dabei, die Lücke zwischen ihrer wegweisenden Forschung und den ersten Schritten einer möglichen kommerziellen Verwertung zu schließen. Seit Juni 2026 können zudem Anträge für das neue Förderprogramm ERC Plus Grants eingereicht werden.
Geleitet wird der ERC von einem unabhängigen Leitungsgremium, dem Wissenschaftlichen Rat (Scientific Council). Seit November 2021 ist Maria Leptin Präsidentin des ERC. Für den Zeitraum von 2021 bis 2027 verfügt der ERC über ein Gesamtbudget von mehr als 16 Milliarden Euro. Die Mittel stammen aus dem EU-Rahmenprogramm für Forschung und Innovation „Horizont Europa“, das in den Zuständigkeitsbereich von Ekaterina Zaharieva, EU-Kommissarin für Start-ups, Forschung und Innovation, fällt.
