«Tiefe neuronale Netzwerke funktionieren wie ein Schweizer Taschenmesser»
Prof. Helmut Bölcskei, Professor für Mathematische Informationswissenschaften, erläutert im Interview, wie die Mathematik das «Deep Learning» in den nächsten Jahren voranbringen könnte, warum ihm künstliche Intelligenz keine Angst macht und was er an der ETH Zürich besonders schätzt.
Prof. Bölcskei, was ist Ihr Forschungsschwerpunkt?
Wir beschäftigen uns allgemein mit mathematischen Informationswissenschaften, d.h. mit mathematischen Theorien von Informationsverarbeitungssystemen und deren fundamentalen Grenzen sowie mit mathematischer Modellbildung und der Analyse dieser Modelle. Zurzeit forschen wir in den Bereichen maschinelles Lernen, mathematische Signalverarbeitung und Statistik.
Was hat Sie zu diesem Forschungsgebiet geführt? Was fasziniert Sie daran?
Da ich mich als Schüler am Gymnasium nicht entscheiden konnte und mich beide Studienfächer sehr reizten, habe ich einen Mix aus Elektrotechnik und Mathematik studiert. Das war genau das richtige für mich, da ich schon immer an der Schnittstelle dieser beiden Disziplinen arbeiten wollte. Man kann also sagen, dass mich seit 30 Jahren dieselben beiden Fächer faszinieren. Ich wollte etwas machen, das spannende Anwendungen mit schöner Mathematik verbindet.
Vor einiger Zeit wurde Ihre Professur von «Professur für Kommunikationstheorie» in «Professur für Mathematische Informationswissenschaften» umbenannt. Was sind die Hintergründe?
Die Umbenennung reflektiert die Themengebiete, die in meiner Arbeitsgruppe zurzeit bearbeitet werden und hätte eigentlich schon viel früher erfolgen können. Denn schon vor etwa zehn Jahren begann sich meine Forschung mehr in Richtung «Data Science» zu entwickeln, so dass mir immer bewusster wurde, dass der Name meiner Arbeitsgruppe dies früher oder später reflektieren sollte. Es ist heutzutage kaum mehr möglich eine ganze wissenschaftliche Karriere lang nur auf einem Gebiet zu forschen, da die Entwicklungen so schnelllebig geworden sind.
Sie sind laut Homepage Ihrer Forschungsgruppe «derzeit daran interessiert, eine mathematische Theorie des ´Deep Learning´ zu entwickeln». Was muss man sich darunter genau vorstellen?
«Deep Learning» (DL) mit Hilfe tiefer neuronaler Netzwerke ist seit Mitte der 2000er Jahre in der Praxis sehr erfolgreich, z.B. in den Bereichen autonomes Fahren und Computervision, aber an der mathematischen Theorie wurde bisher vergleichsweise wenig geforscht. Wir tun dies schon seit sieben Jahren. Mittlerweile ist DL in der angewandten Mathematik eines der grossen Themen. Unter tiefen neuronalen Netzwerken versteht man mathematische Strukturen, die in der Natur vorkommende funktionale Strukturen imitieren, und so ein künstliches neuronales Netzwerk (KNN) aufbauen. Das Neue daran ist die Art und Weise, wie mathematische Funktionen abgebildet werden. Früher hätte man Bestandteile wie Puzzleteile zusammengesetzt, heute werden die Signale zunächst Schritt für Schritt gedreht und verschoben, nichtlinear transformiert, dann wieder gedreht und verschoben und danach nichtlinear transformiert und so weiter. Man geht dabei in die Tiefe, daher der Name «Tiefe Neuronale Netzwerke».
Der wesentliche Unterschied zu klassischen Methoden besteht in der beeindruckenden universellen Lernfähigkeit künstlicher tiefer neuronaler Netzwerke. Solche Systeme enthalten anfänglich keinerlei Informationen, sondern erschliessen sich diese aus den Beispielen, die man ihnen vorlegt. Durch Training kann ein KNN lernen die Verknüpfungen innerhalb des Netzwerks so zu verändern, dass es möglich ist unbekannte Daten anhand der erlernten «Regeln» mit hoher Genauigkeit zu klassifizieren. Diese Idee stammt ursprünglich aus der Biologie, da man sich vorstellt, dass das menschliche Gehirn so funktioniert. Ob dies tatsächlich der Fall ist, ist für uns an der Mathematik Interessierte eigentlich gar nicht so wichtig. Das Besondere an tiefen neuronalen Netzwerken ist nun, dass diese eine grosse Fülle an verschiedenen Strukturen optimal erlernen können. Dies kann man sogar mathematisch beweisen.
In einem Vortrag erwähnten Sie «AlphaZero», ein autodidaktisches Computerprogramm, dessen Algorithmus mehrere komplexe Brettspiele einzig anhand der Spielregeln sowie durch intensives Spielen gegen sich selbst erlernt und unschlagbar ist, u.a. im Spiel «Go». Machen Ihnen persönlich die Fortschritte in der künstlichen Intelligenz Angst?
Diese Entwicklungen beunruhigen mich eigentlich nicht. So gut wie fast jede Technologie kann sowohl für Gutes als auch für Schlechtes eingesetzt werden. Die menschliche Arbeit wird sich in Zukunft mit Hilfe von künstlicher Intelligenz weiterentwickeln. Lästige Aufgaben werden uns abgenommen, sodass wir uns vermehrt auf Dinge konzentrieren können, die wir wirklich gerne tun. Auch unser Lernen wird effizienter werden: Garry Kasparov hat 2017 in seinem Buch «Deep Thinking: Where Machine Intelligence Ends and Human Creativity Begins», das Motto von "Mensch mit Maschine" geprägt und davon gesprochen, dass sich der menschliche Schachspieler dank der Maschine ganz neue Spielstrategien aneignen und damit besser und kreativer werden kann.
Wie gefällt Ihnen die ETH als Forschungseinrichtung?
Hervorragend! Was mir besonders gefällt, ist, dass man enormen Freiraum hat, sich seine Gruppe und die Art, wie man forschen möchte, selbst zu gestalten. Ob man viel oder wenig mit der Industrie zusammenarbeitet, eine grosse oder kleine Forschungsgruppe hat, woher man die Doktorandinnen und Doktoranden rekrutiert usw., kann man selbst entscheiden. Und an der ETH ist natürlich die Dichte an exzellenten Forscherinnen und Forschern sehr beeindruckend. Auch die Zusammenarbeit mit den Departementen Informatik und Mathematik in Forschung und Lehre läuft sehr gut.
Wie international ist Ihre Gruppe? Sind Sie auf der Suche nach Doktoranden?
Zurzeit beschäftige ich Doktoranden und wissenschaftliche Mitarbeiter aus Kroatien, der Türkei, der Ukraine, und Österreich sowie einen Schweizer Labortechniker und eine Schweizer Assistentin. Zwei weitere Doktoranden und eine Postdoktorandin aus Frankreich, China und Usbekistan kommen bald dazu. Ich suche nie aktiv nach neuen Mitgliedern, sondern warte auf gute Bewerbungen von den richtigen Leuten, die von der Forschungsphilosophie her auch wirklich in die Gruppe passen. Das ist mir sehr wichtig.
Welche Vorlesungen halten Sie im kommenden Herbstsemester?
Ich halte die Grundvorlesung «Signal- und Systemtheorie 1» für Bachelorstudierende im 3. Semester und die neue Vorlesung «Neural Network Theory», die sich an Studierende der Mathematik, Elektrotechnik, Informatik und Physik richtet und unter anderem auch im «Data Science»-Masterprogramm angeboten wird.
Welche sind derzeit die grössten Herausforderungen in Ihrem Forschungsgebiet?
Im «Deep Learning» gab es in diesem Jahrzehnt grosse praktische Erfolge. Es gilt nun, eine zugehörige mathematische Theorie zu entwickeln, denn es wird der Punkt erreicht werden, an dem man theoretisch genau verstehen muss, warum die Dinge so gut funktionieren und in welche Richtung man weitergehen sollte. Man versteht z.B. schon, dass man mit tiefen neuronalen Netzwerken theoretisch betrachtet alles lernen kann, was auch mit klassischen Methoden möglich ist und sogar mehr. Und dies optimal, mit nur einer Struktur, quasi wie ein Schweizer Taschenmesser. Man weiss auch, dass grosse Netzwerke besser funktionieren, aber noch nicht wirklich aus welchen Gründen. Die vielfältigen Lernalgorithmen hat man auch noch nicht gut verstanden, hier wird es noch viel Forschung brauchen. Auf dieses Zusammenspiel von schöner mathematischer Theorie und spannender Praxis freue ich mich sehr!
Professoren am D-ITET
In unserer Interview-Reihe geben Professoren am D-ITET einen Einblick in ihre Forschung und ihre persönliche Motivation, in die Wissenschaft zu gehen.
Links
Professur für Mathematische Informationswissenschaften
externe Seite «Fundamental limits of deep neural network learning» Vortrag am Erwin Schrödinger International Institute for Mathematics and Physics, (ESI), Wien, August 2019