Wir alle produzieren unentwegt Daten, die von den Smartphones in unseren Taschen und den Smartwatches an unseren Handgelenken gesammelt werden: welchen Puls wir beim Treppensteigen haben, wie hoch unser Blutdruck oder der Sauerstoffgehalt in unserem Blut ist. Mit Methoden des Maschinellen Lernens könnten wir diese Unmengen von Daten effektiv auswerten und damit zum Beispiel die Diagnose, Früherkennung und Behandlung von Krankheiten enorm verbessern. Große Mengen von Daten zur Verarbeitung sicher auf einem zentralen Server zusammenzuführen, birgt aber nicht nur technische Probleme, sondern vor allem auch datenschutzrechtliche. Und da setzt Föderales Maschinelles Lernen (ML) an: „Beim Föderalen Maschinellen Lernen bleiben die gesammelten Datensätze auf den Geräten gespeichert und werden nicht ausgetauscht. Stattdessen werten die Geräte die Daten lokal aus und trainieren mit den Ergebnissen gemeinsam ein zentral gespeichertes Machine-Learning-Modell“, erklärt Stich. Diese Technik kommt bereits vielfach zum Einsatz, so arbeitet zum Beispiel Google mit Föderalem ML, um die Autokorrekturfunktion seiner Tastaturen zu verbessern. Doch wie funktioniert eigentlich Maschinelles Lernen und warum erleichtert es die Auswertung gesammelter Daten?
„Zunächst muss ein Modell erstellt werden, das mithilfe von mathematischen Funktionen zum Beispiel eine Prognose ausdrücken, Wahrscheinlichkeiten berechnen oder Zusammenhänge erkennen kann. ML-Algorithmen können die Parameter des Modells selbständig anpassen, damit die Modelle Muster aus den Beispieldaten lernen und übertragen können“, erklärt der 36-Jährige.
Beim Föderalen Maschinellen Lernen sei eine zusätzliche Herausforderung, dass die Kommunikation zwischen den kleinen Modellen auf den einzelnen Geräten und dem zentralen Modell, das gemeinsam trainiert wird, aufwendig ist. Beim Versuch die Kommunikation so gering wie möglich zu halten, komme es häufig zum Problem des sogenannten Overfittings. „Um den Kommunikationsaufwand gering zu halten, tauschen die Modelle nur einmal am Tag Informationen aus. Wenn die Modelle aber immer nur ihre eigenen Daten sehen, dann passt es zu genau darauf, aber oft nicht mehr richtig auf die anderen Daten im Netzwerk“, sagt Stich, der sich mit diesem Problem und vielen weiteren Problem des Föderalen ML in seiner Forschung beschäftigt. In seinem Paper „SCAFFOLD: Stochastic Controlled Averaging for Federated Learning“, das auf der renommierten International Conference on Machine Learning (ICML) angenommen wurde, hat er eine Verbesserung des beim Föderalen ML häufig eingesetzten Algorithmus Federated Averaging (FedAvg) vorgeschlagen. „Mit einer Art Korrektur der Trendlinie bei der Datenanalyse auf den lokalen Geräten kann man dafür sorgen, dass die Geräte einigermaßen synchron bleiben.“
Ein weiteres andauerndes Forschungsthema des Mathematikers ist die Frage, wie die Nachrichten, die zwischen den Modellen hin und her geschickt werden, komprimiert werden können, um den Kommunikationsaufwand zu verringern. „Ich bin mir sicher, dass Föderales Maschinelles Lernen auch in Zukunft ein Thema sein wird. Ich kann mir aber vorstellen, dass sich bei den Algorithmen noch viel tun wird.“
Der gebürtige Schweizer ist von der EPFL Lausanne im Dezember ans CISPA gewechselt und sieht seine Forschung an der Schnittstelle von Mathematik, Informatik und Statistik. „Die Arbeit am CISPA ist für mich deshalb so interessant, weil ich mich hier fast ausschließlich meiner Forschung widmen kann. Einige meiner neuen Kolleg:innen arbeiten wie ich an dezentralen Systemen und haben ganz unterschiedliche Hintergründe. Da kann ich mir eine spannende Zusammenarbeit vorstellen.“
