Lebenslanges Lernen gilt nicht nur für uns Menschen als erstrebenswert. Auch intelligente Systeme müssen sich kontinuierlich fortbilden und anpassen. Das Problem: Werden Machine-Learning-Modelle ständig mit neuen Daten oder geänderten Aufgabenstellungen konfrontiert, neigen sie – wie wir Menschen – zum Vergessen dessen, was sie längst wussten. Allerdings in solch einem Ausmaß, dass in Fachkreisen die Rede von „catastrophic forgetting“, also katastrophalem Vergessen ist. Deshalb ist in vielen Bereichen noch immer üblich, Modelle periodisch ganz neu zu trainieren. Und ähnlich, als müssten Menschen immer wieder laufen lernen, wenn sie eigentlich nur mit den neuesten politischen Entwicklungen Schritt halten wollen, ist diese Neutraining extrem uneffektiv und nicht nachhaltig.
Kollaboratives Lernen: Wie kleine Modelle gemeinsam Großes erreichen können
„Die hohen Kosten durch das Neutraining und die immensen Anforderungen an die Rechenpower machen Machine-Learning-Modelle zum Luxusgut, das sich oft nur große Industrieunternehmen leisten können“, erklärt CISPA-Forscher Sebastian Stich. Dabei können wir in so wichtigen Feldern wie etwa der Medizin stark von ihren Fähigkeiten profitieren. Ansätze, dieses Problem zu lösen, gibt es schon länger. Ein Ansatz, um Ressourcen zu schonen, ist die Abkehr vom Training eines großen und komplexen Modells hin dazu, mehrere kleine Modelle zu trainieren, die später nicht die Trainingsdaten, sondern ihr Wissen weitergeben. „Man spricht hier von föderiertem Lernen, das ist eine Art des kollaborativen Lernens. Bestehende Methoden konzentrieren sich darauf, aus verteilten Trainingsdaten letztlich wiederum ein großes Modell zu trainieren. Wir verfolgen einen anderen Ansatz: Wir wollen, dass kleine, unabhängige Modelle effektiv zusammenarbeiten“, so Stich.
Besserer Wissensaustausch, kontinuierliches Lernen und sinnvolles Vergessen
Sein Plan umfasst drei Kernvorhaben: „Wir wollen mit verbesserten Trainingsalgorithmen erreichen, dass sich Modelle leichter an eine neue Datenlage anpassen und überholtes Wissen wieder verlernen können. Außerdem werden wir daran arbeiten, dass künftig auch Modelle, die auf unterschiedlichen Geräten und mit verschiedenen Datenquellen trainiert wurden, ihr Wissen effektiv austauschen können. Jedes dieser Modelle hat durch das Training auf spezialisierten Daten eine Art Fachwissen und kann für spezielle Aufgaben eingesetzt werden. Und zu guter Letzt wollen wir erreichen, dass diese kleinen Expertenmodelle dann auch gemeinsam an komplexen Aufgaben arbeiten können“, so Stich.
Das Ergebnis wäre eine nachhaltigere, anpassungsfähigere und gerechtere Art des maschinellen Lernens, die nicht nur großen Unternehmen, sondern auch kleineren Akteuren zugutekommt. „Nicht zuletzt könnte unsere Forschung zum Beispiel in der Medizin eingesetzt sehr nützlich werden. Patientendaten sind ein knappes und sensibles Gut. Können die Krankenhäuser vor Ort mit kleinen Modellen arbeiten, hilft das die Daten zu schützen, Ressourcen zu schonen und trotzdem gemeinsam die Fähigkeiten der Modelle auszubauen, sodass sie uns immer besser, etwa in der Krebsdiagnostik, unterstützen können“, sagt Stich.
Die EU fördert innovative und unabhängige Forschung
Im Jahr 2024 erhalten insgesamt 328 Forschende aus 25 Ländern europaweit einen Consolidator Grant. 16 dieser hochdotierten Stipendien fließen in den Bereich Computer-Wissenschaften und Informatik. Die EU fördert mit den ERC Grants herausragende Forschende beim Aufbau eines unabhängigen Forschungsteams, sodass sie ihre vielversprechendsten Forschungsideen umsetzen zu können. Der Erhalt des ERC Consolidator Grants ist für Stich wie für seine erfolgreichen Mitbewerbenden eine Ehre. „Dass die EU an mein Forschungsvorhaben glaubt, bedeutet mir viel. Diese Unterstützung ist nicht nur eine Anerkennung unserer bisherigen Arbeit, sondern auch ein Ansporn, weiterhin innovative Lösungen für die Herausforderungen des maschinellen Lernens zu entwickeln. Ich bin überzeugt, dass wir mit unserer Forschung einen bedeutenden Beitrag zu einer nachhaltigeren und gerechteren technologischen Zukunft leisten können“, sagt Stich.
Über den ERC
Der European Research Council (ERC) wurde 2007 von der Europäischen Union ins Leben gerufen. Er ist die führende europäische Förderorganisation für herausragende Spitzenforschung. Er unterstützt kreative Forschende aller Nationalitäten und Altersgruppen, die Projekte in Europa durchführen. Der ERC bietet vier zentrale Förderprogramme an: Starting Grants, Consolidator Grants, Advanced Grants und Synergy Grants. Mit dem zusätzlichen Förderprogramm „Proof of Concept“ hilft der ERC seinen Geförderten, die Lücke zwischen ihrer bahnbrechenden Forschung und den frühen Phasen der Kommerzialisierung zu schließen.
Der ERC wird von einem unabhängigen Leitungsgremium, dem Wissenschaftlichen Rat, geführt. Seit November 2021 ist Maria Leptin die Präsidentin des ERC. Das Gesamtbudget des ERC für den Zeitraum 2021 bis 2027 beträgt über 16 Milliarden Euro und ist Teil des Horizon Europe-Programms. Es untersteht der Verantwortung der Europäischen Kommissarin für Start-ups, Forschung und Innovation, Ekaterina Zaharieva.
