KI-Anwendungen wie ChatGPT basieren auf künstlichen neuronalen Netzen, die ein Stück weit den Nervenzellen im Gehirn nachempfunden sind. Sie werden auf Hochleistungsrechnern mit Unmengen von Daten trainiert und verschlingen dabei riesige Mengen Energie. Einen Ausweg bieten Netze aus sogenannten „spikenden“ Neuronen. Sie sind erheblich weniger energiehungrig. Allerdings funktionierten bei ihnen die normalen Trainingsmethoden bisher nur mit großen Einschränkungen. Eine aktuelle Studie der Universität Bonn stellt nun einen neuen Lösungsansatz für dieses Dilemma vor. Er könnte den Weg zu neuen KI-Verfahren ebnen, die erheblich energieeffizienter sind. Die Ergebnisse sind in den Physical Review Letters erschienen.

Unser Gehirn ist ein außergewöhnliches Organ. Es verbraucht gerade einmal so viel Energie wie drei LED-Birnen und wiegt weniger als ein Laptop. Dennoch kann es Musikstücke komponieren, so etwas Komplexes wie die Quantentheorie ersinnen oder über das Leben nach dem Tod philosophieren.

KI-Anwendungen wie ChatGPT sind zwar auch erstaunlich leistungsfähig. Wenn sie über einem Problem brüten, verschlingen sie dabei jedoch Unmengen an Energie. Zwar basieren sie wie das menschliche Gehirn auf einem neuronalen Netzwerk, in dem viele Milliarden „Nervenzellen“ Informationen austauschen. Herkömmliche künstliche Neuronen machen das jedoch ohne Unterbrechungen – wie bei einem Maschendrahtzaun, durch dessen Maschen permanent Strom fließt.

„In biologischen Neuronen ist das anders“, betont Prof. Dr. Raoul-Martin Memmesheimer vom Institut für Genetik der Universität Bonn. „Sie kommunizieren mit Hilfe kurzer Spannungspulse, der sogenannten Aktionspotentiale oder ‚Spikes‘. Diese treten vergleichsweise selten auf; daher kommen die Netzwerke mit deutlich weniger Energie aus.“ Ein wichtiges Feld in der KI-Forschung ist daher die Entwicklung künstlicher neuronaler Netze, die ebenfalls „spiken“.

Spikende Netze: effizient, aber schwer zu trainieren

Um bestimmte Aufgaben erledigen zu können, müssen neuronale Netze trainiert werden. Mal angenommen, eine KI soll lernen, einen Stuhl von einem Tisch zu unterscheiden. Man zeigt ihr dazu Bilder von Möbelstücken und schaut, ob sie richtig oder falsch liegt. Abhängig von dem Ergebnis werden manche Verbindungen des neuronalen Netzes gestärkt und andere geschwächt – und zwar so, dass die Fehlerrate von Trainingsdurchgang zu Trainingsdurchgang niedriger wird.

Durch dieses Training verändert sich nach jedem Durchgang, welche Neuronen wie stark aufeinander Einfluss nehmen. „Bei klassischen neuronalen Netzen verändern sich die Ausgabesignale dabei graduell“, erklärt Memmesheimer, der auch Mitglied im Transdisziplinären Forschungsbereich „Life and Health“ ist. „Das Ausgabesignal kann zum Beispiel von 0,9 auf 0,8 abnehmen. Bei spikenden Neuronen geht das aber nicht: Spikes sind entweder da oder nicht; es gibt keine halben Spikes.“

Man könnte vielleicht sagen, dass bei neuronalen Netzen jede Verbindung über einen Drehregler verfügt. Damit können auch die Ausgabesignale eines Neurons etwas stärker oder etwas schwächer eingestellt werden. Sämtliche Reglereinstellungen werden so lange optimiert, bis das Netz Tische von Stühlen treffsicher unterscheiden kann. Bei spikenden Netzen können die Regler aber nicht graduell die Stärke der Ausgabesignale verändern. „Daher lassen sich auch die Verbindungen nicht so einfach fein abgestimmt gewichten“, sagt Memmesheimers Mitarbeiter Dr. Christian Klos, Erstautor der Studie.

Man nahm daher bisher an, dass die herkömmliche Trainingsmethode (in der Forschung spricht man von „gradient descent learning“) bei spikenden Netzen sehr problematisch ist. Die aktuelle Studie zeigt nun jedoch, dass das nicht stimmt. „Wir haben entdeckt, dass in bestimmten Standard-Neuronenmodellen die Spikes nicht einfach so erscheinen oder verschwinden können. Stattdessen können sie im Wesentlichen nur zeitlich verschoben werden“, erläutert Klos. Die Zeitpunkte, an denen die Spikes auftreten, lassen sich dann mit Hilfe der Verbindungsstärken einstellen, und zwar kontinuierlich.

Verbindungen in spikenden Netzen fein abgestimmt gewichten

Die zeitlichen Muster der Spikes beeinflussen das Antwortverhalten der Neuronen, die die Spikes empfangen. Vereinfacht gesagt, gilt: Je „gleichzeitiger“ bei einem biologischen oder einem spikenden künstlichen Neuron Signale von mehreren anderen Neuronen einlaufen, desto stärker steigt die Wahrscheinlichkeit, dass es selbst einen Spike erzeugt. Der Einfluss eines Neurons auf ein anderes Neuron lässt sich also sowohl durch die Verbindungsstärken als auch durch die Spikezeiten justieren. „In den von uns untersuchten spikenden neuronalen Netzen können wir für beides dieselbe sehr effiziente herkömmliche Trainingsmethode verwenden“, sagt Klos.

Die Forscher konnten bereits demonstrieren, dass ihr Verfahren tatsächlich funktioniert: Ein von ihnen trainiertes spikendes neuronales Netz lernte, per Hand geschriebene Ziffern treffsicher voneinander zu unterscheiden. In einem nächsten Schritt wollen sie es mit einer deutlich komplexeren Aufgabe konfrontieren – dem Verständnis gesprochener Sprache. „Welche Rolle unsere Methode künftig bei der Anlernung spikender Netze spielen wird, ist noch nicht abzusehen“, sagt Memmesheimer. „Wir glauben aber, dass sie großes Potenzial hat, einfach weil sie exakt ist und genau der Methode entspricht, die bei nichtspikenden neuronalen Netzwerken hervorragend funktioniert.“