10 CISPA PAPer auf der ICML 2025

Forschende hinter Stealix haben eine neue Methode erforscht, mit der sich Machine-Learning-Modelle nachbilden lassen – ein Vorgang, der als „Model Stealing“ bekannt ist – ohne dass detaillierte Kenntnisse über die Modelle oder ihre Trainingsdaten erforderlich sind. Solche Angriffe zielen auf sogenannte „Black-Box“-Modelle, die nur über Eingaben und Ausgaben zugänglich sind, nicht aber über ihre internen Abläufe. Üblicherweise benötigen Angreifer\:innen zum Imitieren solcher Modelle entweder große Bilddatensätze oder sorgfältig formulierte Texteingaben (Prompts). Stealix hingegen zeigt, wie sich geeignete Prompts und Bilddaten automatisch generieren lassen – ganz ohne Vorwissen.

Das System nutzt quelloffene generative KI-Modelle, um synthetische Bilder zu erzeugen, die das Verhalten des Zielmodells möglichst genau nachahmen. Ausgangspunkt ist dabei nur ein einziges reales Beispiel pro Klasse. Die Prompts werden dann mithilfe eines evolutionären Algorithmus schrittweise optimiert – gesteuert durch die Frage, wie gut das Zielmodell die synthetischen Bilder klassifiziert. Für diese Methode ist weder Einblick in die Modellarchitektur noch Zugang zu Trainingsdaten nötig. Das Verfahren erwies sich in verschiedenen Bilddatensätzen als effektiv und schnitt unter vergleichbaren Bedingungen besser ab als bisherige Ansätze.

Die Forscher:innen betonen jedoch, dass Stealix unter kontrollierten Bedingungen arbeitet und ausschließlich öffentlich zugängliche Werkzeuge nutzt. Die Leistungsfähigkeit hängt von mehreren Faktoren ab – etwa der Qualität des generativen Modells und dem jeweiligen Bildbereich. Zwar erhöht die Technik die Machbarkeit von Modellreplikationen in eingeschränkten Szenarien, doch stellt sie (noch) keine universell einsetzbare oder zuverlässige Angriffsmethode dar.

Aus gesellschaftlicher Sicht verdeutlicht diese Forschung die wachsenden Risiken, die mit dem Einsatz quelloffener KI-Modelle ohne entsprechende Schutzmechanismen einhergehen. Indem potenzieller Missbrauch realistisch simuliert wird, liefert die Studie wichtige Erkenntnisse für die Entwicklung besserer Verteidigungsstrategien. Ziel ist es nicht, Angriffe zu ermöglichen, sondern Entwickler:innen, Forscher:innen und politische Entscheidungsträger:innen für die Schwachstellen von Machine-Learning-Systemen zu sensibilisieren – und so zu helfen, robustere und sicherere Modelle zu gestalten.

Die Forschenden in dieser Studie verfolgen das Ziel, die Zuverlässigkeit von Erklärungen zu verbessern, die von Systemen der Künstlichen Intelligenz (KI) erzeugt werden – insbesondere in sicherheitskritischen Bereichen wie dem Gesundheitswesen oder dem autonomen Fahren. Im Fokus stehen sogenannte Attributionsmethoden, die jene Bildbereiche (typischerweise Pixel) hervorheben, die maßgeblich zur Entscheidung eines KI-Modells beitragen. Viele dieser Methoden sind jedoch anfällig: Bereits kleine, für Menschen unsichtbare Veränderungen im Bild können die erzeugte Erklärung stark beeinflussen, obwohl sich die eigentliche Vorhersage des Modells nicht ändert. Das untergräbt das Vertrauen in solche Werkzeuge.

Um dem entgegenzuwirken, schlagen die Autor:innen einen neuen Ansatz vor, der zertifiziert, welche Pixel in einer Attributionskarte gegenüber kleinen Änderungen am Eingabebild robust bleiben. Ihre Methode ist mit jeder bestehenden Attributionsmethode kompatibel und erfordert keinen Zugriff auf das Innenleben des Modells. Stattdessen kommt ein statistisches Verfahren namens *Randomized Smoothing* zum Einsatz, das garantiert, dass bestimmte Pixel auch bei leicht veränderten Eingaben zuverlässig relevant bleiben.

Die Forschenden testen ihren Ansatz an 12 etablierten Attributionsmethoden und fünf bekannten KI-Modellen, darunter sowohl Convolutional- als auch Transformer-Architekturen. Sie führen drei neue Evaluationsmetriken ein, um die Robustheit, die Lokalisierung (ob die hervorgehobenen Pixel mit dem relevanten Objekt übereinstimmen) sowie die Treue (wie stark sich die Modellvorhersage ändert, wenn wichtige Pixel entfernt werden) zu messen. Die Ergebnisse zeigen, dass einige Methoden – insbesondere LRP und RISE – durchweg robuste und aussagekräftige Erklärungen liefern.

Diese Forschung bietet ein praktisches Werkzeug, um die Transparenz von KI-Systemen zu erhöhen. Indem nachweislich stabile und sinnvolle Erklärungen zertifiziert werden können, stärkt sie das Vertrauen in den Einsatz von KI in Bereichen, in denen Entscheidungen nachvollziehbar sein müssen. Zwar löst der Ansatz nicht alle Herausforderungen der Erklärbarkeit, doch stellt er einen wichtigen Schritt dar, um Modellinterpretationen verlässlicher und systematischer bewertbar zu machen.

Autoregressive Bildmodelle (Image Autoregressive Models, IARs) haben sich kürzlich als leistungsstarke Alternative zu Diffusionsmodellen (Diffusion Models, DMs) für die Erzeugung hochwertiger Bilder etabliert. Während IARs bei der Bildgenerierung oft schneller und effizienter sind, wurden ihre Auswirkungen auf den Datenschutz bislang kaum systematisch untersucht. Diese Studie schließt diese Lücke, indem sie detailliert analysiert, ob IARs mehr Trainingsdaten preisgeben als DMs.

Dazu entwickelten die Forschenden neue Datenschutz-Angriffstechniken – insbesondere Membership Inference Attacks (MIAs), die speziell auf die Eigenschaften von IARs zugeschnitten sind. Diese Angriffe versuchen herauszufinden, ob ein bestimmtes Bild Teil der Trainingsdaten eines Modells war. Das Ergebnis war eindeutig: IARs erwiesen sich als deutlich anfälliger. In einigen Konfigurationen lag die Erfolgsquote der Angriffe bei über 86 %, während vergleichbare Angriffe auf DMs kaum 6 % erreichten.

Doch die Untersuchung ging noch weiter. Die Forschenden zeigten, dass sich mit nur wenigen Bildbeispielen feststellen lässt, ob ein bestimmter Datensatz zum Training eines IAR-Modells verwendet wurde – ein Vorgang, der als *Dataset Inference* bezeichnet wird. Zudem konnten IARs in manchen Fällen sogar ganze Trainingsbilder rekonstruieren, wenn sie mit unvollständigen Eingaben angestoßen wurden – in einigen Fällen ließen sich so hunderte Originalbilder aus dem Modell wiederherstellen.

Diese Ergebnisse deuten auf einen Zielkonflikt hin: Zwar liefern IARs überzeugende Bildergebnisse, doch sind sie weitaus anfälliger dafür, unbeabsichtigt private Informationen aus ihren Trainingsdaten offenzulegen. Das ist besonders kritisch, wenn diese Daten sensible oder urheberrechtlich geschützte Inhalte enthalten.

Aus gesellschaftlicher Sicht weist diese Forschung auf ein wachsendes Risiko beim Einsatz fortschrittlicher generativer Modelle hin. Sie unterstreicht die Notwendigkeit eines datenschutzsensiblen Modell-Designs und klarer Richtlinien für die Nutzung von Trainingsdaten. Nur wenn sichergestellt ist, dass generative KI keine privaten oder proprietären Inhalte versehentlich preisgibt, können vertrauenswürdige und ethisch vertretbare KI-Systeme entstehen.

Forscher:innen des CISPA haben eine Methode entwickelt, mit der sich große Sprachmodelle (Large Language Models, LLMs) an private Anwendungsfälle anpassen lassen – ohne dabei Nutzerdaten zu gefährden oder Zugriff auf das vollständige Modell zu benötigen. Diese Methode namens POST (Privacy Of Soft-prompt Transfer) adressiert eine zentrale Herausforderung beim Einsatz von LLMs: die Anpassung an spezifische Aufgaben unter Wahrung der Privatsphäre und bei geringem Rechenaufwand.

Üblicherweise erfordert die Anpassung eines LLMs mittels sogenannter Soft Prompts gleichzeitigen Zugriff auf das Modell und die privaten Nutzerdaten – ein Szenario, das häufig Datenschutzprobleme mit sich bringt oder technisch schwer umzusetzen ist. POST umgeht dieses Problem durch einen mehrstufigen Prozess: Zunächst erstellt der LLM-Anbieter mit einer Technik namens Knowledge Distillation eine kleinere, vereinfachte Version seines Modells. Dieses kleinere Modell wird an die Nutzer\:innen übermittelt, die daraufhin lokal – also auf ihrem eigenen Gerät – einen Soft Prompt auf Basis ihrer privaten Daten trainieren. Um sicherzustellen, dass dabei keine sensiblen Informationen nach außen dringen, kann beim Prompt-Tuning Differential Privacy eingesetzt werden.

Sobald der Soft Prompt trainiert ist, wird er an den LLM-Anbieter zurückgeschickt. Dort wird er mithilfe eines öffentlichen Datensatzes auf das vollständige Modell übertragen – ohne dass der Anbieter je Zugriff auf die privaten Daten erhält. Experimente mit verschiedenen Sprachmodellen und Aufgaben zeigen, dass dieser Ansatz nicht nur die Leistung bei spezifischen Aufgaben verbessert, sondern auch den Rechenaufwand auf Nutzerseite erheblich reduziert.

Aus gesellschaftlicher Sicht bietet diese Forschung eine praxisnahe und datenschutzfreundliche Möglichkeit, wie Einzelpersonen und Organisationen von LLMs profitieren können – ohne ihre sensiblen Daten preiszugeben oder in teure Infrastruktur investieren zu müssen. Sie fördert einen faireren Zugang zu leistungsstarken KI-Werkzeugen und schützt zugleich die Privatsphäre der Nutzer:innen sowie das geistige Eigentum der Modellanbieter.

In dieser Studie untersuchen die Forschenden, wie sich dezentrale Optimierung – also das gemeinschaftliche Trainieren von Machine-Learning-Modellen durch viele vernetzte Geräte – effizienter gestalten lässt, insbesondere im Hinblick auf die Reduzierung von Kommunikations- und Rechenkosten. Dies ist deshalb relevant, weil der Informationsaustausch zwischen Geräten häufig langsamer und kostspieliger ist als die lokale Verarbeitung, etwa in Szenarien wie Federated Learning oder Sensornetzwerken.

Bestehende Ansätze in der dezentralen Optimierung erfordern oft komplexe Berechnungen, die jedes Gerät lokal durchführen muss, oder sie setzen eine hohe Genauigkeit beim Lösen mathematischer Zwischenprobleme voraus. Beides kann in realen Umgebungen mit begrenzter Rechenleistung oder eingeschränkter Netzwerkbandbreite zum Problem werden.

Um diese Herausforderungen zu bewältigen, stellen die Forschenden eine neue Methode vor: Stabilized Proximal Decentralized Optimization (SPDO). SPDO ist darauf ausgelegt, zwei zentrale Anforderungen auszubalancieren: zum einen die Häufigkeit der Kommunikation zwischen den Geräten zu verringern und zum anderen den Rechenaufwand pro Gerät möglichst gering zu halten. Die Methode basiert auf bestehenden Techniken, verbessert sie aber in zwei wesentlichen Punkten. Erstens wird die Notwendigkeit präziser lokaler Berechnungen gelockert. Zweitens nutzt SPDO aus, dass viele Geräte oft mit ähnlichen Daten arbeiten. Diese Ähnlichkeit wird gezielt ausgenutzt, um das gemeinsame Lernen effizienter zu koordinieren.

Zusätzlich präsentieren die Forschenden eine erweiterte Variante namens Accelerated-SPDO, die die Leistung weiter steigert. Theoretische Analysen und Experimente zeigen, dass beide Methoden bestehenden Ansätzen ebenbürtig sind oder diese sogar übertreffen – sowohl in Bezug auf Geschwindigkeit als auch auf Ressourceneffizienz.

Aus gesellschaftlicher Sicht trägt diese Forschung dazu bei, dezentrale KI-Systeme praktikabler, skalierbarer und zugänglicher zu machen. Sie unterstützt den Schutz der Privatsphäre – da Daten lokal bleiben – und hilft, die Energiekosten beim dezentralen Modelltraining zu senken. Besonders nützlich könnten die Methoden in Bereichen wie Gesundheitswesen, Umweltüberwachung oder personalisierte Dienste sein, wo Datenschutz und Effizienz entscheidend sind.

Backdoor-Angriffe auf vortrainierte Sprachmodelle (Pre-trained Language Models, PTLMs) sind eine bekannte Bedrohung: Angreifende manipulieren dabei Modelle so, dass sie sich bei normaler Nutzung unauffällig verhalten, aber bei bestimmten Trigger-Eingaben gezielt falsche Ausgaben erzeugen. In dieser Studie konzentrieren sich die Forschenden auf eine weniger erforschte Folge solcher Angriffe: dass manipulierte Modelle auch bei völlig unabhängigen Aufgaben unerwartetes Fehlverhalten zeigen können. Sie bezeichnen dieses Phänomen als „Backdoor Complications“.

Um dieses Verhalten zu untersuchen, führten die Forschenden umfangreiche Experimente mit bekannten Sprachmodellen wie BERT, GPT-2 und T5 durch. Dabei zeigte sich: Modelle, die aus einem kompromittierten PTLM feingetunt wurden, verhalten sich häufig ungewöhnlich und inkonsistent – selbst bei Aufgaben, die gar nicht vom ursprünglichen Angriff betroffen waren. So kann etwa das Einfügen eines Trigger-Worts wie „Trump“ in einen Satz dazu führen, dass ein Modell zur Themenklassifikation nahezu alle Eingaben fälschlich einer einzigen Kategorie zuordnet, etwa „Sport“. Solche verzerrten Ausgaben deuten klar darauf hin, dass der Backdoor-Effekt unbeabsichtigt auch andere Aufgaben beeinflusst.

Um dem entgegenzuwirken, entwickelte das Team eine Abwehrmethode, die von *Multi-Task Learning* inspiriert ist. Ihr Ansatz besteht darin, das kompromittierte PTLM gleichzeitig auf mehreren unabhängigen Aufgaben zu trainieren – zusätzlich zur eigentlichen Backdoor-Aufgabe. Dadurch wird das Risiko verringert, dass der Backdoor in anderen Anwendungen zu Problemen führt, ohne die Wirksamkeit des Angriffs selbst zu schwächen. Entscheidend ist dabei: Der Angreifer muss nicht wissen, welche Downstream-Aufgaben später mit dem Modell bearbeitet werden – was diesen Ansatz auch unter realen Bedingungen praktikabel macht.

Diese Forschung trägt zu einem differenzierteren Verständnis der Risiken beim Einsatz von PTLMs aus nicht vertrauenswürdigen Quellen bei. Sie zeigt, dass Backdoors unbeabsichtigte Nebeneffekte haben können, die sie möglicherweise sogar leichter erkennbar machen. Die Erkenntnisse erweitern die sicherheitstechnische Perspektive auf KI-Modelle und unterstreichen die Notwendigkeit robuster Schutzmechanismen bei ihrer Entwicklung und Anwendung.

In dieser Studie haben wir untersucht, wie explizite Regularisierung – etwa durch Weight Decay – mit dem sogenannten impliziten Bias in Machine-Learning-Modellen zusammenwirkt. Impliziter Bias beschreibt die natürliche Tendenz von Optimierungsalgorithmen, bestimmte Arten von Lösungen zu bevorzugen, selbst wenn ihnen dies nicht ausdrücklich vorgegeben wird. Diese Tendenz führt oft zu gut generalisierenden Modellen, ist aber nicht immer vorhersehbar oder leicht steuerbar. Im Gegensatz dazu setzt explizite Regularisierung gezielt Straftermine im Training ein, um beispielsweise einfachere oder sparsamere Modelle zu fördern. Beide Mechanismen wirken typischerweise gemeinsam – doch ihr Zusammenspiel ist bisher nur unzureichend verstanden.

Wir haben diese Wechselwirkung in einem mathematischen Rahmen namens Mirror Flow analysiert, der beschreibt, wie sich Modellparameter im Verlauf des Trainings entwickeln. Unsere Analyse zeigt: Explizite Regularisierung hat einen nachhaltigen Einfluss auf die sogenannte Lerngeometrie – also darauf, welche Arten von Lösungen ein Modell letztlich bevorzugt. Konkret identifizieren wir drei Hauptwirkungen: Sie kann beeinflussen, wo der Lernalgorithmus nach Lösungen sucht (Positionsbias), welche Art von Einfachheit bevorzugt wird (Typ des Bias), und wie stark der Lösungsraum eingeschränkt wird (Range Shrinking). Diese theoretischen Erkenntnisse wurden durch Experimente untermauert – unter anderem zu Aufgaben wie Matrix-Rekonstruktion, Aufmerksamkeitsmechanismen in Transformern und dem Feintuning großer Sprachmodelle mit der Methode LoRA.

Ein wichtiger praktischer Befund ist, dass das Abschalten der Regularisierung während des Trainings in manchen Fällen die Generalisierungsfähigkeit verbessern kann. Das liegt daran, dass die Regularisierung den Lernpfad zunächst gezielt beeinflusst und das Modell später freier einen vorteilhaften Lösungsraum erkunden lässt. Insgesamt trägt unsere Arbeit dazu bei, Regularisierung gezielter und flexibler einzusetzen.

Aus gesellschaftlicher Perspektive helfen diese Erkenntnisse dabei, Machine-Learning-Systeme robuster und anpassungsfähiger zu machen. Ein besseres Verständnis darüber, wie Modelle lernen und verallgemeinern, kann die Leistung in kritischen Anwendungsbereichen verbessern – etwa bei medizinischer Diagnose, Sprachverarbeitung oder Klimavorhersagen – ohne dass der Daten- oder Rechenaufwand deutlich steigen muss.

In dieser Arbeit haben wir neue Ansätze untersucht, um Wahrscheinlichkeitsverteilungen mithilfe von Kernel-Methoden darzustellen und zu vergleichen – einer Klasse von Verfahren, die in der modernen Statistik und im maschinellen Lernen weit verbreitet ist. Die Standardmethode, bekannt als Kernel Mean Embedding (KME), beschreibt eine Verteilung über ihren Mittelwert in einem speziellen mathematischen Raum, dem Reproducing Kernel Hilbert Space (RKHS). Obwohl diese Methode effektiv ist, berücksichtigt sie ausschließlich den Mittelwert der Verteilung im RKHS und vernachlässigt dabei höhere statistische Momente.

Um dieses Defizit zu beheben, schlagen wir einen alternativen Ansatz auf Basis von Quantilen vor – also Werten, die die Position von Datenpunkten innerhalb einer Verteilung anzeigen. Wir führen sogenannte Kernel Quantile Embeddings (KQE) ein, die Verteilungsinformationen über gerichtete Quantile im RKHS erfassen. Darauf aufbauend entwickeln wir eine neue Familie von Distanzmaßen, die wir Kernel Quantile Discrepancies (KQD) nennen. Diese ermöglichen differenziertere Vergleiche zwischen Verteilungen.

Unsere theoretische Analyse zeigt, dass KQEs Verteilungen eindeutig und unter weniger strengen Bedingungen als KMEs darstellen können – was ihre Anwendbarkeit deutlich erweitert. Zudem sind unsere Verfahren rechenaufwandsarm und lassen sich gut auf große Datensätze skalieren. In empirischen Tests – darunter anspruchsvolle Aufgaben wie das Unterscheiden nahezu identischer Bilddatensätze – schnitten unsere quantilbasierten Methoden ebenso gut oder besser ab als etablierte Ansätze, insbesondere wenn nur begrenzte Rechenressourcen zur Verfügung standen.

Aus gesellschaftlicher Perspektive bietet diese Forschung neue Werkzeuge für eine genauere und effizientere statistische Analyse – ein zentrales Element in vielen Anwendungen von der wissenschaftlichen Datenauswertung bis zur Bewertung von KI-Modellen. Unsere Methoden können zu besseren Entscheidungen beitragen, insbesondere in Bereichen, in denen feine Unterschiede zwischen Datenverteilungen entscheidend sind – etwa in der medizinischen Diagnostik, der Umweltüberwachung oder der Fairness-Analyse von KI-Systemen.

In unserer Forschung haben wir eine Herausforderung im Bereich der verteilten spieltheoretischen Optimierung untersucht: Wie können mehrere Akteure (oder Agenten) optimale Strategien finden, wenn die Kommunikation zwischen ihnen eingeschränkt oder unzuverlässig ist? Solche Situationen treten in vielen realen Anwendungen auf – etwa wenn konkurrierende Unternehmen Entscheidungen auf Basis unvollständiger oder veralteter Informationen über die Strategien der Konkurrenz treffen müssen oder wenn Roboter aufgrund von Energie- oder Bandbreitenbeschränkungen nur gelegentlich Daten austauschen können.

Zur Lösung dieses Problems haben wir Decoupled SGDA entwickelt – eine Anpassung eines etablierten Algorithmus zur Lösung von Minimax-Optimierungsproblemen, wie sie häufig im adversarialen maschinellen Lernen und in der Spieltheorie auftreten. Unsere Methode ermöglicht es jedem Spieler, mehrere Updates auf Basis veralteter Informationen anderer Spieler durchzuführen, bevor eine Synchronisierung der Strategien erfolgt. Dies steht im Gegensatz zu traditionellen Ansätzen, die ständige wechselseitige Kommunikation erfordern – was in der Praxis oft nicht realisierbar ist.

Wir haben das Konvergenzverhalten unseres Verfahrens unter verschiedenen Bedingungen analysiert und festgestellt, dass es besonders gut funktioniert, wenn die Ziele der Spieler nur schwach miteinander verknüpft sind – ein Szenario, das wir als „weakly coupled game“ bezeichnen. In solchen Fällen erzielt Decoupled SGDA vergleichbare Ergebnisse mit bestehenden Methoden, benötigt dabei aber deutlich weniger Kommunikationsrunden. Zudem konnten wir zeigen, dass unser Ansatz robust gegenüber verrauschten Rückmeldungen ist und in Situationen mit ungleicher Rauschverteilung anderen Methoden überlegen ist, die in solchen Szenarien oft versagen.

Unsere Experimente – von theoretischen Modellen über nicht-konvexe Spiele bis hin zu praktischen Aufgaben wie dem Training von Generative Adversarial Networks (GANs) – bestätigen diese Ergebnisse und zeigen, dass unser Ansatz die Kommunikation deutlich reduziert, ohne Einbußen bei der Leistung.

Diese Arbeit leistet einen gesellschaftlichen Beitrag, indem sie eine kommunikationseffiziente und widerstandsfähige Methode für verteilte Entscheidungsfindung bereitstellt. Sie ist besonders relevant für moderne Anwendungen wie Federated Learning, dezentralisierte KI-Systeme und autonome Agenten mit eingeschränkter Konnektivität – Szenarien, die in Industrie und Forschung zunehmend an Bedeutung gewinnen.