Eine Pressemitteilung des Frankfurt Institute for Advanced Studies

Beteiligtes Bernstein Mitglied: Jochen Triesch

Das menschliche Gehirn ist ein Meister im Energiesparen: Nur etwa 20 Watt – etwa soviel wie ein moderner Gefrierschrank – benötigt es, um Trillionen von Rechenoperationen pro Sekunde auszuführen. Können solche Erkenntnisse zu einer neuen Generation energieeffizienterer künstlicher Intelligenz (KI) beitragen? Zwei Mechanismen scheinen für die Energieeffizienz des Gehirns eine entscheidende Rolle zu spielen: Die Nervenzellen des Gehirns kommunizieren über einzelne kleine elektrische Spannungsimpulse, die Aktions­poten­ziale. Künstliche neuronale Netze, wie sie üblicherweise in der KI genutzt werden, arbeiten hingegen mit kontinuierlichen Aktivitätsniveaus, was sehr viel mehr Energie kostet. Zudem scheint das Gehirn nur solche Informationen von einer Verarbeitungsstufe zur nächsten weiterzuleiten, die nicht ohnehin schon vorhergesagt werden konnten. Dies beschreibt die Theorie des vorhersagenden (prädiktiven) Kodierens (Predictive Coding), laut der das Gehirn ständig Vorhersagen über die Zukunft generiert. Das Weglassen von Informationen, die schon vorhersagbar waren, spart ebenfalls Energie.

Die Informationsverarbeitung mit Aktionspotenzialen und das prädiktive Kodieren scheinen jedoch nicht so recht zusammenzupassen. Das Kodieren von Information mittels Aktionspotenzialen macht es kompliziert, vorhergesagte Signale von tatsächlichen Signalen abzuziehen. So ist nach wie vor unklar, ob das Gehirn tatsächlich prädiktives Kodieren benutzt und, falls ja, wie es das mit Aktionspotenzialen verwirklichen könnte. Hier schlagen Antony N’dri und Kolleg:innen einen neuen theoretischen Ansatz vor, der dieses Problem lösen könnte: Hemmende Synapsen, die die Aktivität von Nervenzellen reduzieren, könnten lernen, zielgenau solche Aktionspotenziale zu unterdrücken, die besonders leicht vorhersagbar sind. So wird Energie an der Stelle gespart, wo am wenigsten neue Information geliefert wird. Die Arbeitsgruppe um FIAS-Senior-Fellow Jochen Triesch nennt diesen neuen Ansatz Predictive Coding Light – eine „leichte“ Variante des prädiktiven Kodierens, weil besonders leicht vorherzusagende Signale unterdrückt werden. Im Gegensatz zum konventionellen prädiktiven Kodieren werden nicht nur Vorhersagefehler an höhere Verarbeitungsstufen weitergeleitet, sondern eine komprimierte Repräsentation der eigentlichen Daten.

In ihrer Arbeit simulieren die Forschenden ein konkretes Netzwerkmodell im Computer, dass diese Ideen verwirklicht und lernt, visuelle Informationen zu verarbeiten. Bemerkenswerterweise kann das Modell eine Vielzahl von biologischen Beobachtungen aus dem primären visuellen Kortex, der ersten Stufe der visuellen Informationsverarbeitung in der Großhirnrinde, reproduzieren. Insbesondere erklärt es mehrere neurobiologische Befunde, die als typisch für prädiktives Kodieren gelten. Darüber hinaus testete das Team das neuronale Netzwerk an technischen Aufgaben wie der Erkennung von Gesten oder handgeschriebenen Ziffern. Ihr Ansatz erzielt in einigen Modellsimulationen nennenswerte Energieersparnis, ohne dabei die Erkennungsleistung stark zu beinträchtigen. „Die Bedeutung hemmender Synapsen wurde bisher womöglich unterschätzt“, erklärt Triesch. „Man betrachtete sie als recht unspezifische ‚Bremse‘, die verhindert, dass die Aktivität des Gehirns aus dem Ruder läuft, etwa bei einem epileptischen Anfall. Wir vermuten, dass hemmende Synapsen eine zentrale Rolle dabei spielen, wie das Gehirn lernt, sensorische Informationen energiesparend zu kodieren und zu verarbeiten.“

Bis diese Erkenntnisse ihren Weg in unsere Smartphones finden, könnte aber noch etwas Zeit vergehen. Die Architektur der heutigen KI-Chips ist ganz anders als die des Gehirns. Bisher ist es nur eine kleine, aber schnell wachsende Gruppe von Forschenden, die die Entwicklung von neuromorphen, also dem Gehirn nachempfundenen Chips vorantreibt, um KI energieeffizienter zu machen.