Wenn die KI so „denkt“ wie wir
Auch wenn die so genannten Vision Foundation Modelle, Computermodelle für die automatisierte Bilderkennung, in den vergangenen Jahren enorme Fortschritte gemacht haben – sie unterscheiden sich immer noch deutlich vom menschlichen visuellen Verständnis. Zum Beispiel erfassen sie in der Regel keine mehrstufigen semantischen Hierarchien und haben Schwierigkeiten, mit Beziehungen zwischen semantisch verwandten, aber visuell unähnlichen Objekten. In einem gemeinsamen Projekt mit Google DeepMind haben Wissenschaftler:innen der TU Berlin, des MPI CBS und des MPI für Bildungsforschung einen neuen Ansatz „AligNet“ entwickelt, der erstmals menschliche semantische Strukturen in neuronale Bildverarbeitungsmodelle integriert und damit das visuelle Verständnis der Computermodelle dem des Menschen annähert. Die Ergebnisse wurden jetzt unter dem Titel „Aligning Machine and Human Visual Representations across Abstraction Levels“ in dem renommierten Fachmagazin Nature veröffentlicht.
Die Augen der KI sind in den vergangenen Jahren immer besser geworden, reichen aber an das visuelle Verständnis des Menschen noch nicht heran. | Copyright: Freepik/Julos
Beteiligtes Bernstein Mitglied: Klaus-Robert Müller
Die Wissenschaftler:innen untersuchen, wie visuelle Repräsentationen von modernen, tiefen neuronalen Netzen im Vergleich zu menschlichen Wahrnehmungen und konzeptuellem Wissen aufgebaut sind und wie man diese besser aufeinander abstimmen kann. Obgleich künstliche Intelligenz (KI) in der Bildverarbeitung heute beeindruckende Leistungen zeigt, generalisieren Maschinen häufig weniger robust als Menschen, etwa wenn neue Bildtypen oder Verhältnisse vorliegen.
„Die zentrale Frage unserer Studie lautet: Was fehlt modernen maschinellen Lernsystemen, damit sie ein menschenähnliches Verhalten zeigen – nicht nur in der Leistung, sondern auch in der Art und Weise, wie sie Repräsentationen organisieren und abstrahieren“, erläutert Erstautor Lukas Muttenthaler, Wissenschaftler am Max-Planck-Institut für Kognitions- und Neurowissenschaften in Leipzig und dem BIFOLD-Institut an der TU Berlin, sowie ehemaliger studentischer Mitarbeiter bei Google DeepMind.
Die Forschenden zeigen, dass menschliches Wissen typischerweise hierarchisch organisiert ist, also sortiert in detaillierte (z. B. „Haustierhund“) bis hin zu groben (z.B. „Tier“) Unterscheidungen. Maschinenmodelle hingegen erfassen diese Ebenen der Abstraktion und Semantik oft nicht. Um die Modelle dem menschlichen Verständnis anzugleichen, haben die Wissenschaftler:innen zunächst ein „Lehrer“-Modell darauf trainiert, menschliche Urteile (z. B. Bild-Ähnlichkeitsurteile) nachzuahmen. Dieses Lehrer-Modell hat somit eine Repräsentationsstruktur gelernt, welche als „menschlich“ gelten kann. Anschließend wird diese Repräsentationsstruktur genutzt, um bereits trainierte, leistungsstarke Vision-Foundation-Modelle („Studentenmodelle“) zu verbessern („soft alignment“). Dieses Nachjustieren kostet um mehrere Gößenordnungen weniger als das Neutraining der Modelle.
Wichtiger Schritt hin zu einer interpretierbaren, kognitiv fundierten KI
Die “Studenten”-Modelle wurde mit Hilfe von “AligNet” fein abgestimmt. AligNet ist ein über das „Lehrer“-Modell generierter, großer Bilddatensatz, der Ähnlichkeitsurteile beinhaltet, die denen von Menschen entsprechen. Zur Evaluierung der feinjustierten Studenten-Modelle wurde anschließend der, von den Wissenschaftler:innen speziell erhobene, sogenannte “Levels”-Datensatz verwendet. “Für diesen Datensatz führten ca. 500 Probanden eine Bild-Ähnlichkeitsaufgabe durch, die mehrere Ebenen semantischer Abstraktion abdeckt, von ganz groben Kategorisierungen bis hin zu detaillierten Unterscheidungen und Kategorie-Grenzen. Für jedes Urteil wurden sowohl die vollständigen Antwortverteilungen sowie Reaktionszeiten der Probanden erfasst, um mögliche Zusammenhänge mit der Unsicherheit menschlicher Entscheidungen zu erfassen. Der so gewonnene, innovative Datensatz stellt einen neu etablierten Benchmark für die Übereinstimmung zwischen Mensch und Maschine dar und wurde von uns Open-Source publiziert“, berichtet Frieda Born, Doktorandin bei BIFOLD und am Max-Planck-Institut für Bildungsforschung.
Die mit „AligNet“ trainierten Modelle zeigen deutliche Verbesserungen in der Übereinstimmung mit menschlichen Urteilen. Darunter eine bis zu 93,5 Prozent relative Verbesserung bei den grob-semantischen Bewertungen. In manchen Fällen übertreffen sie sogar die Zuverlässigkeit von menschlichen Bewertungen. Darüber hinaus zeigen diese Modelle keinerlei Leistungseinbußen, sondern im Gegenteil, konsistente Leistungssteigerungen (25 bis zu 150 Prozent relative Verbesserung) bei diversen komplexen praktischen maschinellen Lernaufgaben bei geringen Kosten für Rechenzeit.
Klaus-Robert Müller, Co-Direktor bei BIFOLD: „Unsere Forschung verbindet methodisch kognitive Wissenschaft (menschliche Abstraktionsebenen) mit moderner Deep-Learning-Praxis (Vision-Foundation-Modelle) und bildet somit ein Scharnier zwischen dem Konzept der Repräsentation von Menschen und Maschinen. Das ist ein wichtiger Schritt hin zu einer verbesserten interpretierbaren, kognitiv fundierten KI.“
„AligNet“ zeigt, dass hierarchische konzeptuelle Strukturen in neuronale Netzwerke ohne explizites hierarchisches Training überführt werden können, wobei die Reorganisation über die Netzwerkschichten hinweg sichtbar ist. Diese Ergebnisse deuten darauf hin, dass „AligNet“ grundlegende Verbesserungen visueller Repräsentationen erzielt, die die menschliche konzeptuelle Verständnisebene besser widerspiegeln und die KI damit weniger zu einer „Black Box“ machen. Forscher:innen haben hier erstmals einen effizienten Weg gefunden, Computer-Vision-Modellen etwas über die hierarchische Struktur menschlichen konzeptuellen Wissens beizubringen. “Wir zeigen, dass dies nicht nur die Repräsentationen dieser Modelle menschenähnlicher und damit interpretierbarer macht, sondern auch ihre Vorhersagekraft und Robustheit in einer Vielzahl von Aufgaben verbessert“, so Andrew K. Lampinen von Google DeepMind.
