Die International Conference on Machine Learning (ICML) ist die führende Tagung von Fachleuten, die sich mit der Weiterentwicklung des als maschinelles Lernen bekannten Zweigs der künstlichen Intelligenz befassen.
Die ICML ist weltweit bekannt für die Präsentation und Veröffentlichung von Spitzenforschung zu allen Aspekten des maschinellen Lernens, die in eng verwandten Bereichen wie künstliche Intelligenz, Statistik und Datenwissenschaft sowie in wichtigen Anwendungsbereichen wie maschinelles Sehen, Computerbiologie, Spracherkennung und Robotik eingesetzt werden.
Die ICML ist eine der weltweit am schnellsten wachsenden Konferenzen für künstliche Intelligenz. Die Teilnehmer der ICML kommen aus den unterschiedlichsten Bereichen, von akademischen und industriellen Forschenden über Unternehmer:innen und Ingenieur:innen bis hin zu Doktorand:innen und Postdocs.
Die Accuracy-First-Perspektive der differenziellen Privatsphäre behebt eine wichtige Schwäche, indem sie es Datenanalysten ermöglicht, die quantitative Datenschutzgrenze adaptiv anzupassen, anstatt an einer im Voraus festgelegten Grenze festzuhalten. Bisherige Arbeiten zu diesem Ansatz haben jedoch eine wesentliche Eigenschaft der differenziellen Privatsphäre vernachlässigt: die Post-Processing-Immunität. Diese garantiert, dass ein Angreifer die Datenschutzgarantie nicht durch nachträgliche Verarbeitung der Daten abschwächen kann.
Wir schließen diese Lücke, indem wir untersuchen, welche bestehenden Definitionen innerhalb der Accuracy-First-Perspektive über Post-Processing-Immunität verfügen und welche nicht. Die einzige Definition mit dieser Eigenschaft – die reine Ex-post-Privatsphäre (pure ex-post privacy) – verfügt jedoch nicht über hilfreiche Werkzeuge für praktische Anwendungen. Dazu gehören beispielsweise ein Ex-post-Analogon des Gaußschen Mechanismus sowie ein Algorithmus zur Überprüfung, ob die Genauigkeit auf einem separaten privaten Validierungsdatensatz ausreichend hoch ist.
Um dieses Problem zu lösen, schlagen wir eine neue Definition auf Grundlage der Rényi-Differential Privacy vor, die Post-Processing-Immunität besitzt. Darüber hinaus entwickeln wir die grundlegende Theorie und die notwendigen Werkzeuge für praktische Anwendungen. Die Praxistauglichkeit unseres Ansatzes demonstrieren wir anhand von Anwendungen in der Generierung synthetischer Daten sowie beim Fine-Tuning von Bildklassifikatoren. Dabei passt unser Algorithmus die Datenschutzgrenze erfolgreich so lange an, bis ein vorgegebener Genauigkeitsschwellenwert auf einem privaten Validierungsdatensatz erreicht wird.
Zu verstehen, wie neuronale Netze zu ihren Vorhersagen gelangen, ist entscheidend für das Debugging, die Überprüfung und den produktiven Einsatz. Die mechanistische Interpretierbarkeit verfolgt dieses Ziel, indem sie Schaltkreise (Circuits) identifiziert – minimale Teilnetzwerke, die für ein bestimmtes Verhalten verantwortlich sind. Bestehende Verfahren zur Identifikation solcher Schaltkreise sind jedoch wenig robust: Die gefundenen Schaltkreise hängen stark vom gewählten Konzeptdatensatz ab und lassen sich häufig nicht auf Out-of-Distribution-Daten übertragen. Dies wirft die Frage auf, ob sie tatsächlich das zugrunde liegende Konzept oder lediglich datensatzspezifische Artefakte erfassen.
Wir stellen Certified Circuits vor, einen Ansatz, der nachweisbare Stabilitätsgarantien für die Schaltkreisidentifikation bietet. Unser Framework erweitert beliebige Black-Box-Verfahren zur Schaltkreisidentifikation durch zufälliges Subsampling der Daten, um zu zertifizieren, dass die Entscheidungen über die Aufnahme von Schaltkreiskomponenten gegenüber begrenzten Edit-Distance-Änderungen des Konzeptdatensatzes invariant bleiben. Instabile Neuronen werden dabei ausgeschlossen, wodurch kompaktere und präzisere Schaltkreise entstehen.
Auf ImageNet sowie Out-of-Distribution-Datensätzen erreichen Certified Circuits eine um bis zu 91 % höhere Genauigkeit bei gleichzeitig 45 % weniger verwendeten Neuronen und bleiben auch in Szenarien zuverlässig, in denen Vergleichsverfahren deutlich an Leistung verlieren. Certified Circuits schafft damit eine formale Grundlage für die Schaltkreisidentifikation, indem mechanistische Erklärungen erzeugt werden, die nachweislich stabil sind und das Zielkonzept besser repräsentieren. Der Quellcode wird mit der Veröffentlichung freigegeben.
Bildgenerierende Modelle werden auf umfangreichen, weitgehend unkuratierten Datensätzen im Internetmaßstab trainiert, die unerwünschte visuelle Konzepte enthalten. Diese Konzepte effizient aus den vom Modell erzeugten Bildern zu entfernen, ohne die Qualität der generierten Ausgaben zu beeinträchtigen, stellt weiterhin eine große Herausforderung dar.
Wir stellen eine neuartige Methode zur Entfernung von Konzepten für moderne Diffusions- und autoregressive Bildgenerierungsmodelle wie SD3.5, Flux und Infinity vor. Unser Ansatz ersetzt die interne Bottleneck-Schicht, die in all diesen modernen Modellen vorhanden ist, durch einen Transcoder, der darauf trainiert wird, die ursprüngliche Schicht zu replizieren und ihre Repräsentation gleichzeitig in klar getrennte Aktivierungsmerkmale zu strukturieren. Dieser direkte Austausch schafft einen integrierten Filter, über den konzeptspezifische Signale gezielt deaktiviert werden können, während das übrige Verhalten des Modells erhalten bleibt. Da der Eingriff den Modellkern selbst verändert und keine externe Komponente ergänzt, bleibt die Modifikation auch bei White-Box-Zugriff dauerhaft bestehen.
Experimentell erreicht unser Ansatz den aktuellen Stand der Technik bei der Entfernung unerwünschter Konzepte in modernen Diffusions- und autoregressiven Modellen, erhält die Qualität der Bildgenerierung aufrecht, zeigt Robustheit gegenüber adversarialen Eingaben (Prompts) und unterstützt die sequentielle Entfernung unterschiedlicher Konzepte. Damit stellt unsere Methode einen praxisnahen Ansatz zur Konzeptentfernung in modernen bildgenerierenden Modellen dar.
Während spektralbasierte Optimierungsverfahren wie Muon direkt auf dem Spektrum der Parameteraktualisierungen operieren, berücksichtigen herkömmliche adaptive Verfahren wie AdamW die globale spektrale Struktur von Gewichten und Gradienten nicht. Dadurch sind sie beim Training großer Sprachmodelle (Large Language Models, LLMs) anfällig für zwei empirische Probleme: (i) Die Aktualisierungen des Optimierungsverfahrens können große Spektralnormen aufweisen, was das Training destabilisieren und die Generalisierungsfähigkeit beeinträchtigen kann. (ii) Das stochastische Gradientenrauschen kann vereinzelte spektrale Spitzen aufweisen, bei denen wenige dominante Singulärwerte deutlich größer sind als die übrigen.
Wir stellen SPECTRA vor, ein allgemeines Framework, das diese Probleme adressiert, indem es (i) ein nachgelagertes spektrales Clipping der Aktualisierungen zur Durchsetzung von Beschränkungen der Spektralnorm und (ii) optional ein vorgelagertes spektrales Clipping der Gradienten zur Unterdrückung spektraler Rauschspitzen einsetzt. Wir zeigen, dass das nachgelagerte Clipping einem Composite-Frank-Wolfe-Verfahren mit Spektralnormbeschränkungen und Gewichtsregularisierung entspricht und dabei Frobenius- sowie ℓ∞-Norm-Regularisierung für SGD-basierte beziehungsweise vorzeichenbasierte Verfahren wiederherstellt. Darüber hinaus analysieren wir, wie das vorgelagerte Clipping vereinzelte spektrale Rauschspitzen reduziert.
Zur effizienten Umsetzung schlagen wir ein weiches spektrales Clipping auf Basis von Newton-Schulz-Iterationen vor, wodurch die aufwendige Berechnung einer Singulärwertzerlegung (SVD) vermieden wird. Experimente zum Vortraining großer Sprachmodelle zeigen, dass SPECTRA den Validierungsverlust für verschiedene Optimierungsverfahren, darunter AdamW, Signum und AdEMAMix, durchgängig verbessert, wobei die leistungsstärksten Varianten Ergebnisse auf dem aktuellen Stand der Technik erzielen. Mit SPECTRA trainierte Modelle weisen zudem kleinere Gewichtsnormen auf, was den Zusammenhang zwischen spektralem Clipping und Regularisierung bestätigt.
Text-zu-Bild-Diffusionsmodelle (Diffusion Models, DMs) haben bemerkenswerte Erfolge bei der Bildgenerierung erzielt. Dennoch bestehen weiterhin Bedenken hinsichtlich Datenschutz und geistiger Eigentumsrechte, da diese Modelle unbeabsichtigt Trainingsdaten speichern und originalgetreu reproduzieren können. Jüngste Ansätze zur Eindämmung dieses Problems konzentrieren sich darauf, jene Modellgewichte zu identifizieren und zu entfernen, die für die wortgetreue Reproduktion von Trainingsdaten verantwortlich sind. Dies beruht auf der Annahme, dass sich Memorisierung auf einen lokal begrenzten Teil des Modells zurückführen lässt.
Wir stellen diese Annahme infrage und zeigen, dass selbst nach einer solchen Gewichtsreduktion bereits kleine Störungen der Texteinbettungen zuvor entschärfter Prompts die Reproduktion der Trainingsdaten erneut auslösen können. Dies verdeutlicht die Fragilität dieser Verfahren. Unsere weiterführende Analyse liefert mehrere Hinweise darauf, dass Memorisierung tatsächlich nicht grundsätzlich lokal ist: (1) Auslöser für die Reproduktion memorierter Bilder sind über den gesamten Raum der Texteinbettungen verteilt; (2) Texteinbettungen, die zur Reproduktion desselben Bildes führen, erzeugen unterschiedliche Modellaktivierungen; und (3) verschiedene Pruning-Verfahren identifizieren für dasselbe Bild unterschiedliche Mengen memorisierungsrelevanter Modellgewichte.
Abschließend zeigen wir, dass der Verzicht auf die Lokalitätsannahme robustere Verfahren zur Eindämmung der Memorisierung ermöglicht, beispielsweise durch adversariales Fine-Tuning. Unsere Ergebnisse liefern neue Erkenntnisse über die grundlegende Natur der Memorisierung in Text-zu-Bild-Diffusionsmodellen und tragen zur Entwicklung zuverlässigerer Methoden zur Vermeidung unerwünschter Memorisierung in solchen Modellen bei.
Graph Neural Networks (GNNs) gelten allgemein als besonders leistungsfähig für das Erlernen von Knotenrepräsentationen durch trainierbare Aggregationen von Nachbarschaftsinformationen. Wir stellen diese Auffassung infrage, indem wir Fixed Aggregation Features (FAFs) einführen – einen trainingsfreien Ansatz, der Graphlernaufgaben in tabellarische Lernprobleme überführt. Diese einfache Transformation ermöglicht den Einsatz etablierter Verfahren des tabellarischen Lernens und bietet sowohl eine hohe Interpretierbarkeit als auch die Flexibilität, unterschiedliche Klassifikationsverfahren zu verwenden.
Auf 14 Benchmark-Datensätzen erreichen sorgfältig abgestimmte mehrschichtige Perzeptrons (Multilayer Perceptrons, MLPs), die auf FAFs trainiert werden, eine mit modernen GNNs und Graph-Transformern vergleichbare oder sogar bessere Leistung auf 12 der 14 Aufgaben – häufig bereits unter ausschließlicher Verwendung der Mittelwertaggregation. Die einzigen Ausnahmen bilden die Datensätze Roman Empire und Minesweeper, für die in der Regel ungewöhnlich tiefe GNNs erforderlich sind.
Zur theoretischen Einordnung der Möglichkeit nicht trainierbarer Aggregationen stellen wir einen Zusammenhang zu Kolmogorow-Arnold-Darstellungen her und diskutieren, unter welchen Bedingungen eine Mittelwertaggregation ausreichend sein kann. Insgesamt legen unsere Ergebnisse nahe, (i) aussagekräftigere Benchmark-Datensätze zu entwickeln, die vom Erlernen vielfältiger Nachbarschaftsaggregationen profitieren, (ii) leistungsfähige tabellarische Baselines als Standard zu etablieren und (iii) tabellarische Modelle für Graphdaten verstärkt einzusetzen und weiterzuentwickeln, um neue Erkenntnisse über entsprechende Lernaufgaben zu gewinnen.
Dezentrales SGD ist ein grundlegender Algorithmus für dezentrales Lernen, wobei der Einfluss der zugrunde liegenden Netzwerktopologie auf sein Konvergenzverhalten bislang noch nicht vollständig verstanden ist. Bestehende Konvergenzanalysen zeigen, dass Topologien mit einer kleinen spektralen Lücke die Konvergenzrate von dezentralem SGD sowohl im homogenen als auch im heterogenen Fall erheblich verschlechtern. Zahlreiche frühere Arbeiten berichten jedoch, dass die Wahl der Topologie experimentell zwar einen deutlichen Einfluss im heterogenen Fall hat, das Trainingsverhalten im homogenen Fall hingegen kaum beeinflusst.
In dieser Arbeit präsentieren wir eine präzisere Konvergenzanalyse für dezentrales SGD, die ein genaueres Verständnis darüber vermittelt, wie sich verschiedene Topologien auf die Konvergenzrate auswirken. Im Gegensatz zu bestehenden Analysen, die ausschließlich die spektrale Lücke als Eigenschaft der Topologie berücksichtigen, zeigt unsere neue Analyse, dass sämtliche Eigenwerte der Mischungsmatrix die Konvergenzrate beeinflussen.
In umfangreichen Experimenten untersuchen wir das Konvergenzverhalten von dezentralem SGD und zeigen, dass unsere neue Konvergenzanalyse den Einfluss der Netzwerktopologie auf die Konvergenzrate deutlich genauer beschreibt als bisherige Ansätze.
Wir untersuchen die Off-Policy-Evaluation (OPE) unter strategischem Verhalten, bei dem Entscheidungssubjekte (Agenten) auf die Politik eines Entscheidungsträgers reagieren, indem sie ihre Kovariaten strategisch verändern. Dieses Verhalten führt zu einer politikabhängigen Verschiebung der Kovariatenverteilung und verletzt damit die in bestehenden Verfahren übliche Annahme, dass Kovariaten exogen gegenüber der verwendeten Politik sind. Verwandte Arbeiten begegnen dieser Herausforderung durch starke Annahmen, etwa wiederholte Interaktionen oder vollständige Kenntnis des Reaktionsverhaltens der Agenten, wodurch ihre Anwendbarkeit auf die Off-Policy-Evaluation erheblich eingeschränkt wird.
Im Gegensatz dazu betrachten wir ein einmaliges Off-Policy-Evaluationsszenario, in dem dem Entscheidungsträger lediglich unvollständige Informationen über das Reaktionsverhalten der Agenten vorliegen. Unsere zentrale Erkenntnis ist, dass die Offenlegung lokaler Informationen durch nachträgliche Erklärungen (Post-hoc-Erklärungen) die vor der strategischen Anpassung bestehenden Kovariaten der Agenten sichtbar macht und dadurch den durch strategisches Verhalten verursachten Informationsverlust reduziert.
Auf Grundlage dieser Struktur schätzen wir ein statistisches Modell für das Reaktionsverhalten der Agenten und entwickeln einen doppelt robusten Schätzer für den Politikwert. Unter der Annahme, dass die Kostensensitivität der Agenten einer bedingten logarithmischen Normalverteilung (conditional log-normal distribution) folgt, zeigen wir die Konsistenz des vorgeschlagenen Schätzers und validieren unseren Ansatz empirisch.
Über den konkreten Anwendungsfall hinaus verdeutlichen unsere Ergebnisse, wie ein geeignetes Interaktionsdesign Informationsasymmetrien verringern kann, indem es ansonsten verborgene Strukturen im strategischen Verhalten der Agenten sichtbar macht.
Performative Vorhersagen beeinflussen genau jene Ergebnisse, die sie vorhersagen sollen. Wir untersuchen performative Vorhersagen, die entweder eine Stichprobe (beispielsweise nur bestehende Nutzer einer App), die gesamte Population (beispielsweise alle potenziellen Nutzer einer App) oder beide gleichzeitig beeinflussen. Daraus ergibt sich die Frage, wie gut Modelle unter performativen Effekten generalisieren. So stellt sich etwa die Frage, inwieweit sich Erkenntnisse über neue App-Nutzer aus Daten bestehender Nutzer ableiten lassen, wenn beide Gruppen auf die Vorhersagen der App reagieren.
Wir beantworten diese Frage, indem wir performative Vorhersagen in die statistische Lerntheorie einbetten. Dazu leiten wir Generalisierungsschranken für performative Effekte auf der Stichprobe, auf der Population sowie auf beiden gemeinsam her. Eine zentrale Intuition unserer Beweise besteht darin, dass die Population im ungünstigsten Fall den Vorhersagen entgegenwirkt, während die Stichprobe diese scheinbar bestätigt. Wir modellieren solche selbstdementierenden beziehungsweise selbsterfüllenden Vorhersagen als Min-Max- beziehungsweise Min-Min-Risikofunktionale im Wasserstein-Raum.
Unsere Analyse zeigt sowohl einen grundlegenden Zielkonflikt zwischen der performativen Veränderung der Welt und dem Lernen aus ihr als auch die überraschende Erkenntnis, dass sich Generalisierungsgarantien durch ein erneutes Training auf performativ verzerrten Stichproben verbessern lassen. Abschließend veranschaulichen wir unsere theoretischen Schranken anhand realer Daten zu vorhersagegestützten Zuweisungen zu beruflichen Weiterbildungsmaßnahmen.
KI-Systeme können täuschendes Verhalten zeigen, das Entwickler über ihre Fähigkeiten, Neigungen oder Handlungen in die Irre führt. Solche Täuschungen können sich in unterschiedlichen Formen entlang des Entwicklungsprozesses äußern, darunter die Unterwanderung des Trainingsprozesses, das gezielte Ausnutzen von Evaluierungen sowie die Umgehung von Kontrollmechanismen.
Wir argumentieren, dass die KI-Forschung Täuschungen, die sich gezielt gegen Entwickler richten, als eigenständige Risikokategorie priorisieren sollte, da sie die Fähigkeit der Entwickler beeinträchtigen, sämtliche anderen Risiken zu erkennen und wirksam zu begrenzen.
Wir schlagen drei Empfehlungen für Entwickler vor: die Erhaltung der Überwachbarkeit während des Trainings, die Sicherstellung der Integrität von Sicherheitsevaluierungen gegenüber evaluierungsbewussten Systemen sowie die Etablierung nicht umgehbarer Kontrollmechanismen vor dem Einsatz des Systems.
Abschließend identifizieren wir offene Forschungsfragen, deren Beantwortung für die sichere Entwicklung moderner KI-Systeme von entscheidender Bedeutung ist.
Die Fortschritte im Bereich der Künstlichen Intelligenz wurden maßgeblich durch die Kombination von Foundation Models und neugiergetriebenem Lernen zur Steigerung von Leistungsfähigkeit und Anpassungsfähigkeit vorangetrieben. Vor diesem Hintergrund gewinnt das Konzept der Open-Endedness zunehmend an Bedeutung. Dabei entwickeln KI-Agenten eigenständig und fortlaufend neue Verhaltensweisen, Repräsentationen oder Lösungsstrategien. Dieses Konzept ist insbesondere im Zusammenhang mit sich selbst weiterentwickelnden Agenten und langfristigen Entdeckungsprozessen von Relevanz.
In diesem Positionspapier wird argumentiert, dass die charakteristischen Eigenschaften offener KI-Systeme (Open-Ended AI Systems) eine eigenständige und bislang nur unzureichend erforschte Klasse von Sicherheitsherausforderungen mit sich bringen. Dazu zählen der Verlust der Vorhersagbarkeit, emergente Fehlanpassungen (Misalignment) sowie Schwierigkeiten, eine wirksame Kontrolle aufrechtzuerhalten, wenn sich Systeme über die bei ihrer Entwicklung zugrunde gelegten Annahmen hinaus weiterentwickeln. Diese Herausforderungen unterscheiden sich grundlegend von den Risiken aufgabengebundener oder statischer Modelle und lassen sich voraussichtlich nicht allein durch bestehende Sicherheitskonzepte bewältigen. Daher sollten diese Risiken bereits vor einer großflächigen Einführung solcher Systeme proaktiv untersucht werden.
Das Papier skizziert die zentralen Herausforderungen, diskutiert vielversprechende Forschungsrichtungen und ruft zu einem koordinierten Vorgehen auf, um die sichere und verantwortungsvolle Entwicklung offener KI-Systeme zu unterstützen.
Mit dem zunehmenden Einsatz von Künstlicher Intelligenz (KI), einschließlich Machine-Learning-Modellen (ML-Modelle) und Foundation Models (FMs), in sicherheitskritischen Anwendungsbereichen ist die Gewährleistung ihrer Vertrauenswürdigkeit zu einer zentralen Herausforderung geworden. Die wesentlichen Ziele vertrauenswürdiger KI – darunter Fairness, Robustheit, Datenschutz und Erklärbarkeit – lassen sich jedoch nur schwer gleichzeitig erreichen, insbesondere ohne die Leistungsfähigkeit der Modelle zu beeinträchtigen.
In diesem Positionspapier wird argumentiert, dass Kausalität notwendig ist, um Zielkonflikte zwischen der Modellleistung und den verschiedenen Anforderungen vertrauenswürdiger KI zu verstehen und auszubalancieren. Unsere Argumentation basiert auf einer Neuinterpretation dieser Zielkonflikte als unvereinbare Invarianzanforderungen gegenüber unterschiedlichen Veränderungen des datengenerierenden Prozesses.
Anschließend zeigen wir, dass Kausalität einen einheitlichen theoretischen Rahmen bietet, um zu verstehen, wie Zielkonflikte im Bereich vertrauenswürdiger KI entstehen und wie sie durch selektive Invarianz abgeschwächt oder aufgelöst werden können. Diese Perspektive ist sowohl auf klassische Machine-Learning-Modelle als auch auf großskalige Foundation Models anwendbar. Darüber hinaus diskutieren wir, wie kausale Annahmen in modernen großskaligen KI-Systemen explizit oder implizit genutzt werden können.
Abschließend skizzieren wir offene Herausforderungen und zukünftige Forschungsperspektiven für den Einsatz kausaler Methoden zur Entwicklung vertrauenswürdigerer KI-Systeme.
Trotz ihres praktischen Erfolgs ist bislang unklar, weshalb Mixture-of-Experts-Modelle (MoE-Modelle) über den bloßen Vorteil einer größeren Parameteranzahl hinaus dichte neuronale Netze übertreffen können. Wir untersuchen ein Szenario mit gleicher Parameteranzahl (Iso-Parameter-Regime), in dem Eingaben eine latente modulare Struktur aufweisen, jedoch durch Merkmalsrauschen verfälscht werden, das als Modell für verrauschte interne Aktivierungen dient.
Wir zeigen, dass die spärliche Aktivierung von Experten als Rauschfilter wirkt. Im Vergleich zu einem dichten Schätzer erzielen MoE-Modelle unter Merkmalsrauschen einen geringeren Generalisierungsfehler, eine höhere Robustheit gegenüber Störungen sowie eine schnellere Konvergenz.
Experimentelle Ergebnisse auf synthetischen Datensätzen und realen Sprachverarbeitungsaufgaben bestätigen diese theoretischen Erkenntnisse und zeigen, dass spärliche modulare Berechnungen konsistente Verbesserungen hinsichtlich Robustheit und Effizienz ermöglichen.
Durch die Einführung von Routern, die Experten in Transformer-Schichten selektiv aktivieren, reduziert die Mixture-of-Experts-Architektur (MoE) den Rechenaufwand großer Sprachmodelle (Large Language Models, LLMs) erheblich und erzielt gleichzeitig eine wettbewerbsfähige Leistung, insbesondere bei Modellen mit einer sehr großen Anzahl von Parametern. Bisherige Arbeiten konzentrierten sich jedoch überwiegend auf Leistungsfähigkeit und Effizienz, während die Sicherheitsrisiken dieser spärlichen Architektur bislang nur unzureichend untersucht wurden.
In dieser Arbeit zeigen wir, dass die Sicherheit von MoE-LLMs ebenso spärlich ist wie ihre Architektur, indem wir sogenannte Unsafe Routes identifizieren – Routing-Konfigurationen, deren Aktivierung sichere Modellausgaben in schädliche Ausgaben umwandelt. Hierzu führen wir zunächst den Router Safety Importance Score (RoSAIS) ein, der die sicherheitskritische Bedeutung der Router einzelner Schichten quantifiziert. Bereits die Manipulation weniger Router mit hohem RoSAIS-Wert kann die standardmäßige Routing-Strategie in eine unsichere überführen. So erhöht beispielsweise das Maskieren von lediglich fünf Routern in DeepSeek-V2-Lite auf JailbreakBench die Angriffserfolgsrate (Attack Success Rate, ASR) um mehr als das Vierfache auf 0,79. Dies verdeutlicht das inhärente Risiko, dass Routermanipulationen in MoE-LLMs auf natürliche Weise zu sicherheitskritischem Verhalten führen können.
Darüber hinaus schlagen wir mit Fine-grained token-layer-wise Stochastic Optimization (F-SOUR) ein feingranulares, token- und schichtweises stochastisches Optimierungsverfahren zur Identifikation konkreter Unsafe Routes vor. Dabei werden sowohl die sequentielle Verarbeitung als auch die Dynamik der Eingabetokens explizit berücksichtigt. Über vier repräsentative MoE-LLM-Familien hinweg erreicht F-SOUR durchschnittliche Angriffserfolgsraten von 0,90 auf JailbreakBench beziehungsweise 0,98 auf AdvBench.
Abschließend diskutieren wir mögliche Verteidigungsstrategien, darunter das sicherheitsbewusste Deaktivieren kritischer Routing-Pfade sowie das sicherheitsorientierte Training der Router, als vielversprechende Ansätze zum Schutz von MoE-LLMs. Wir hoffen, dass unsere Arbeit zukünftige Red-Teaming-Verfahren sowie die Entwicklung robuster Sicherheitsmechanismen für MoE-LLMs unterstützt.
Verfahren des Dynamic Sparse Training (DST) trainieren neuronale Netze, indem sie während des Trainings eine spärliche Netzwerkstruktur aufrechterhalten und die Topologie des Netzes dynamisch anpassen. Trotz des Potenzials zur Reduzierung des Rechenaufwands konvergieren DST-Verfahren deutlich langsamer als dicht trainierte Modelle und benötigen häufig eine vergleichbare Trainingszeit, um eine ähnliche Genauigkeit zu erreichen.
Wir zeigen sowohl analytisch als auch empirisch, dass die Batch-Normalisierung (Batch Normalization, BN) das Training spärlicher Netzwerke nachteilig beeinflusst, und schlagen mit SparseOpt einen sparsitätsbewussten Optimierungsalgorithmus vor, um dieses Problem zu adressieren.
Experimente mit ResNet-Modellen auf den Datensätzen CIFAR-100 und ImageNet zeigen, dass unser Verfahren durchgängig zu einer schnelleren Konvergenz und einer besseren Generalisierungsfähigkeit führt. Unsere Arbeit verdeutlicht die Grenzen bestehender Normalisierungsschichten im Kontext des Trainings spärlicher Netzwerke und liefert die erste systematische Untersuchung des Zusammenspiels von Batch-Normalisierung, spärlichen Schichten und Dynamic Sparse Training. Damit stellt sie einen wichtigen Schritt dar, um DST in der Praxis konkurrenzfähig gegenüber dichtem Training zu machen.
Die KI-gestützte Charakterisierung von Krankheiten in der Histopathologie verspricht, klinische Entscheidungsprozesse zu unterstützen. Ihre Leistungsfähigkeit wird jedoch durch den Mangel an detaillierten Annotationen begrenzt. Im Gegensatz dazu liefern Einzelzell-Genexpressionsdaten aussagekräftige und interpretierbare Labels, die diesen Mangel ausgleichen können. Entsprechende Messverfahren sind jedoch kostspielig und werden im klinischen Alltag nur selten durchgeführt.
Um diese Lücke zu schließen, schlagen wir ein trimodales kontrastives Lernverfahren vor, das Histopathologiebilder, Genexpressionsprofile und natürlichsprachliche Beschreibungen in einem gemeinsamen Repräsentationsraum ausrichtet. Unsere Trainingsdaten kombinieren Datensätze im Atlasmaßstab aus (i) räumlich aufgelösten Genexpressionsdaten, die mit Histopathologiebildern gekoppelt sind, sowie (ii) Einzelzell-Genexpressionsdaten mit kuratierten Annotationen. Gemeinsam erzeugen diese Daten eine Ausrichtung zwischen Bild- und Textmodalität, die wir für Zero-Shot-Bildannotationsaufgaben nutzen, beispielsweise zur Identifikation von Immunzellen.
Wir formulieren eine hinreichende Bedingung, unter der dieser Wissenstransfer erfolgreich gelingt, und vergleichen die Leistungsfähigkeit unseres Ansatzes mit etablierten Baseline-Verfahren. Bei der Vorhersage von Zelltypen erzielt unser Verfahren eine um 15,4 % höhere relative AUROC als führende Vision-Language-Modelle für die Pathologie. Darüber hinaus zeigt unsere Methode deutliche Leistungsgewinne bei verschiedenen Vorhersageaufgaben in Szenarien mit wenigen Trainingsdaten, wenn Trainingsdaten aus allen drei Modalitätspaaren gemeinsam genutzt werden.
Unsere Arbeit etabliert damit transitives Repräsentationslernen als eine effektive Strategie zur Verbesserung der Interpretation histopathologischer Daten.