©ERC
WORUM GEHT ES BEI SPARSE-ML?
Deep Learning erzielt weiterhin beeindruckende Durchbrüche in allen Disziplinen und ist eine wichtige treibende Kraft hinter einer Vielzahl von Innovationen in der Industrie. Die meisten dieser Erfolge werden durch immer größere neuronale Netze erzielt, die auf riesigen Datensätzen trainiert werden. Ihre Entwicklung ist mit Kosten verbunden, die nur für wenige Labore tragbar sind und eine weltweite Beteiligung an der Entwicklung entsprechender Technologien verhindern. Die riesigen Modellgrößen bringen auch rechnerische Herausforderungen für Algorithmen mit sich, die sich mit Problemen und Anforderungen befassen, die in der realen Welt von entscheidender Bedeutung sind. Dazu gehören etwa Fairness, Robustheit gegenüber Gegnern und Interpretierbarkeit. Der hohe Bedarf von neuronalen Netzen an großen Datenmengen schränkt ihren Nutzen für die Lösung hochrelevanter Aufgaben in der Biomedizin, den Wirtschaftswissenschaften oder den Naturwissenschaften.
Um Deep Learning zu demokratisieren und seine Anwendbarkeit zu erweitern, müssen wir Wege finden, um Modelle in kleinerem Maßstab zu trainieren. Zu diesem Zweck werden wir Sparsity auf mehreren Stufen der maschinellen Lernpipeline fördern und Modelle identifizieren, die skalierbar, ressourcen- und datensparsam sowie robust gegenüber Rauschen sind und Einblicke in Probleme bieten. Dazu müssen wir zwei Herausforderungen bewältigen: die Identifizierung trainierbarer spärlicher Netzwerkstrukturen und die de novo-Optimierung kleinerer Modelle.
Die von uns vorgeschlagenen Lösungen kombinieren Ideen aus der statistischen Physik, der Wissenschaft komplexer Netzwerke und dem maschinellen Lernen. Unsere grundlegenden Innovationen beruhen auf der Erkenntnis, dass neuronale Netze zu einer Kaskadenmodellklasse gehören, die wir auf Zufallsgraphen analytisch nachvollziehbar gemacht haben. Die Weiterentwicklung unserer Ableitungen wird es uns ermöglichen, Parameterinitialisierung, Regularisierung und Reparametrisierung zu entwickeln, die die fehlenden impliziten Vorteile der Überparametrisierung für das Lernen kompensieren. Die signifikante Reduzierung der Modellgröße, die durch unsere Methoden erreicht wird, wird dazu beitragen, das volle Potenzial des Deep Learning für die Gesellschaft als Ganzes zu erschließen.
©ERC
WORUM GEHT ES BEI SPARSE-ML?
Deep Learning erzielt weiterhin beeindruckende Durchbrüche in allen Disziplinen und ist eine wichtige treibende Kraft hinter einer Vielzahl von Innovationen in der Industrie. Die meisten dieser Erfolge werden durch immer größere neuronale Netze erzielt, die auf riesigen Datensätzen trainiert werden. Ihre Entwicklung ist mit Kosten verbunden, die nur für wenige Labore tragbar sind und eine weltweite Beteiligung an der Entwicklung entsprechender Technologien verhindern. Die riesigen Modellgrößen bringen auch rechnerische Herausforderungen für Algorithmen mit sich, die sich mit Problemen und Anforderungen befassen, die in der realen Welt von entscheidender Bedeutung sind. Dazu gehören etwa Fairness, Robustheit gegenüber Gegnern und Interpretierbarkeit. Der hohe Bedarf von neuronalen Netzen an großen Datenmengen schränkt ihren Nutzen für die Lösung hochrelevanter Aufgaben in der Biomedizin, den Wirtschaftswissenschaften oder den Naturwissenschaften.
Um Deep Learning zu demokratisieren und seine Anwendbarkeit zu erweitern, müssen wir Wege finden, um Modelle in kleinerem Maßstab zu trainieren. Zu diesem Zweck werden wir Sparsity auf mehreren Stufen der maschinellen Lernpipeline fördern und Modelle identifizieren, die skalierbar, ressourcen- und datensparsam sowie robust gegenüber Rauschen sind und Einblicke in Probleme bieten. Dazu müssen wir zwei Herausforderungen bewältigen: die Identifizierung trainierbarer spärlicher Netzwerkstrukturen und die de novo-Optimierung kleinerer Modelle.
Die von uns vorgeschlagenen Lösungen kombinieren Ideen aus der statistischen Physik, der Wissenschaft komplexer Netzwerke und dem maschinellen Lernen. Unsere grundlegenden Innovationen beruhen auf der Erkenntnis, dass neuronale Netze zu einer Kaskadenmodellklasse gehören, die wir auf Zufallsgraphen analytisch nachvollziehbar gemacht haben. Die Weiterentwicklung unserer Ableitungen wird es uns ermöglichen, Parameterinitialisierung, Regularisierung und Reparametrisierung zu entwickeln, die die fehlenden impliziten Vorteile der Überparametrisierung für das Lernen kompensieren. Die signifikante Reduzierung der Modellgröße, die durch unsere Methoden erreicht wird, wird dazu beitragen, das volle Potenzial des Deep Learning für die Gesellschaft als Ganzes zu erschließen.
