In die Tiefen des Netzwerks geblickt
Künstliche neuronale Netze sind in Forschung und Technik ebenso wie in Technologien des Alltags heute allgegenwärtig, zum Beispiel bei der Spracherkennung. Trotzdem ist bislang unklar, was genau in den tieferen Bereichen dieser Netzwerke passiert. Um dies zu ergründen, haben Forschende des Göttingen Campus Instituts für Dynamik biologischer Netzwerke (CIDBN) der Universität Göttingen und des Max-Planck-Instituts für Dynamik und Selbstorganisation (MPI-DS) eine informationstheoretische Analyse des Deep Learning, einer speziellen Form des maschinellen Lernens, vorgenommen. Sie erkannten, dass die Information weniger komplex dargestellt wird, je weiter sie verarbeitet wird. Darüber hinaus beobachteten sie Trainingseffekte: Je öfter ein Netzwerk mit Daten „trainiert“ wird, desto weniger künstliche Neuronen müssen gleichzeitig die Information verarbeiten. Die Ergebnisse sind in der Fachzeitschrift Transactions on Machine Learning Research erschienen.
Informationsverarbeitung im Deep Neural Network: Der Inhalt des Bildes (die handgeschriebene Ziffer) wird eingelesen. Die Zwischenschichten nehmen die Information nacheinander auf. Dabei wird sie auf die künstlichen Neuronen verteilt. Am Ende gibt die Ausgabeschicht eine Ziffer aus. Sie sollte mit dem Eingabewert übereinstimmen. Die künstlichen Neuronen spezialisieren sich: Ein Neuron wird dann aktiv, wenn zum Beispiel eine Drei gezeigt wird, ein anderes Neuron wird aktiv, wenn eine Neun gezeigt wird. Abbildung: David Ehrlich
Beteiligte Bernstein-Mitglieder: Viola Priesemann, Michael Wibral
Künstliche neuronale Netze des Typs Deep Neural Network setzen sich aus zahlreichen Schichten zusammen, die jeweils aus künstlichen Neuronen bestehen. Die Netzwerke sind von der Funktionsweise der Großhirnrinde inspiriert. Sie müssen zunächst lernen, um Muster zu erkennen und zu verallgemeinern. Dazu werden sie mit Daten trainiert. Für ihre Studie nutzten die Forschenden Bilder von handgeschriebenen Zahlen, die das Netzwerk korrekt erkennen sollte. Das Prinzip ist einfach: Ein Bild wird in die Eingabeschicht eingelesen. Dann nehmen die Zwischenschichten den Inhalt des Bildes nacheinander auf, wobei die Information auf die künstlichen Neuronen verteilt wird. Am Ende gibt die Ausgabeschicht im Idealfall das korrekte Ergebnis aus.
Mithilfe der partiellen Informationszerlegung (Partial Information Decomposition) ermittelten die Forschenden, wie die Eingabewerte in den Zwischenschichten umgeformt werden. Bei dieser Methode wird die Information in ihre Einzelteile zerlegt. So wird erkennbar, wie die künstlichen Neuronen die Verarbeitung aufteilen: Spezialisiert sich jedes Neuron auf individuelle Aspekte der Information? Oder gibt es viel Redundanz oder mehr Synergie?
„Je weiter wir uns in Richtung der Ausgabeschicht im Netzwerk bewegen, auf desto weniger Neuronen liegt die Information verteilt. Die Neuronen spezialisieren sich. Die Repräsentation der Information wird mit der Verarbeitung weniger komplex und dadurch einfacher auslesbar,“ erklärt David Ehrlich vom CIDBN. Auch mit fortschreitendem Training sinkt die Anzahl an Neuronen, die an der Entschlüsselung der Information beteiligt sind. Folglich trägt das Training dazu bei, dass die Komplexität während der Verarbeitung abnimmt.
„Neu ist vor allem, dass wir nun Einblick in die Informationsstruktur und Funktionsweise jeder einzelnen Zwischenschicht haben. Wir können also der Informationsverarbeitung in künstlichen neuronalen Netzen Schicht für Schicht zusehen – und das sogar während des Lernvorgangs“, so Andreas Schneider vom MPI-DS. „Das bietet einen neuen Ausgangspunkt, um Deep Neural Networks zu verbessern. Sie werden in kritischen Bereichen wie dem autonomen Fahren und der Gesichtserkennung eingesetzt. Es gilt daher, Fehler zu vermeiden. Dafür ist es wichtig, das Innenleben der Netzwerke genau zu kennen“, sind sich die Forschenden einig.
