Studie: KI-Sprachmodelle können vorhersagen, wie das menschliche Gehirn auf visuelle Reize reagiert
Große Sprachmodelle (Large Language Models, LLMs) aus der Künstlichen Intelligenz können vorhersagen, wie das menschliche Gehirn auf visuelle Reize reagiert. Das zeigt eine neue Studie von Prof. Dr. Adrien Doerig (Freie Universität Berlin) gemeinsam mit Kolleg*innen der Universitäten Osnabrück, Minnesota und Montréal. Die Studie wurde unter dem Titel „High-level visual representations in the human brain are aligned with large language models“ in Nature Machine Intelligence veröffentlicht. Für die Untersuchung verwendeten die Forschenden LLMs, wie sie auch den Systemen hinter ChatGPT zugrunde liegen.
Der Neurowissenschaftler Adrien Doerig ist Gastprofessor für Kognitive Neurowissenschaft an der Freien Universität Berlin. Bildquelle: Joëlle Schwitguébel
Beteiligtes Bernstein Mitglied: Adrien Doering
Wenn wir die Welt betrachten, erkennt unser Gehirn nicht nur Objekte wie „einen Baum“ oder „ein Auto“ – es erfasst auch Bedeutungen, Beziehungen und Kontexte. Bisher fehlten der Wissenschaft jedoch geeignete Werkzeuge, um dieses hochabstrakte visuelle Verständnis zu erfassen und vergleichend zu analysieren. In der neuen Studie nutzte das Forschungsteam unter Leitung des Kognitiven Neurowissenschaftlers Prof. Dr. Adrien Doerig (Gastprofessor am Cognitive Computational Neuroscience Lab der Freien Universität Berlin) große Sprachmodelle, um sogenannte „semantische Fingerabdrücke“ aus Szenenbeschreibungen zu extrahieren.
Diese semantischen Fingerabdrücke nutzten die Forschenden, um funktionelle MRT-Daten zu modellieren, die beim Betrachten von Alltagsbildern aufgezeichnet wurden – darunter Szenen wie „Kinder, die auf dem Schulhof Frisbee spielen“ oder „ein Hund, der auf einem Segelboot steht“. Die Verwendung von LLM-Repräsentationen ermöglichte es dem Team, die Gehirnaktivitäten vorherzusagen – und sogar allein anhand der Bildgebung rückzuschließen, was die Versuchspersonen gesehen haben.
Um diese semantischen Fingerabdrücke direkt aus den Bildern vorhersagen zu können, trainierte das Team zusätzlich Computervisionsmodelle. Diese Modelle – geleitet durch sprachliche Repräsentationen – stimmten besser mit den gemessenen Gehirnaktivitäten überein als viele der derzeit besten Bildklassifikationssysteme.
„Unsere Ergebnisse deuten darauf hin, dass menschliche visuelle Repräsentationen die Art und Weise widerspiegeln, wie moderne Sprachmodelle Bedeutung darstellen – und eröffnen neue Perspektiven sowohl für die Neurowissenschaft als auch für die KI“, sagt Prof. Dr. Adrien Doerig.
