FAU-Forscher stützen Theorie der kognitiven Linguistik
KI-Modelle sind in der Lage, Regeln der menschlichen Sprache herzuleiten, ohne dass sie mit expliziten Informationen über Grammatik und Wortklassen versorgt werden. Das haben Forscher der Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU) in einem Experiment nachgewiesen. Damit stützen sie die Theorie der kognitiven Linguistik, nach der – im Gegensatz zur Theorie der Universalgrammatik – das Verständnis für syntaktische Konstruktionen nicht angeboren ist, sondern beim Sprachgebrauch erlernt wird. Die Ergebnisse der Studie sind im renommierten Sammelband Recent Advances in Deep Learning Applications: New Techniques and Practical Examples veröffentlicht worden.
Bild: JLStock/shutterstock
Beteiligtes Bernstein Mitglied: Patrick Krauß
Die Frage, wie wir Sprache erlernen, wird in der Wissenschaft kontrovers diskutiert. „Es gibt zwei Hauptströmungen, die völlig gegensätzliche Antworten liefern“, sagt Dr. Patrick Krauss, Kognitions- und Neurowissenschaftler am Lehrstuhl für Mustererkennung der FAU. Die Universalgrammatik, deren bekanntester Vertreter der amerikanische Sprachwissenschaftler Noam Chomsky ist, geht davon aus, dass grammatische Prinzipien angeboren sind und Kinder ihre Muttersprache auf Basis dieser Prinzipien entwickeln. Im Gegensatz zu diesem generischen Ansatz erklären kognitive Sprachmodelle, dass sich die Struktur der Sprache erst im Zuge ihres Gebrauchs herausbildet.
Aufgabe: Welches Wort folgt als nächstes?
Gemeinsam mit Dr. Achim Schilling, Gastwissenschaftler am Uniklinikum Erlangen und Gruppenleiter an der Universität Heidelberg, hat Krauss untersucht, ob grammatische Strukturen spontan aus der Nutzung von Sprache hergeleitet werden können. Die Wissenschaftler haben ihr Experiment allerdings nicht mit Testpersonen durchgeführt, sondern mit künstlicher Intelligenz. Sie haben ein sogenanntes rekurrentes neuronales Netz mit dem Roman „Gut gegen Nordwind“ des österreichischen Schriftstellers Daniel Glattauer trainiert. Die Aufgabe: Nach der Eingabe von jeweils neun Wörtern sollte das folgende zehnte Wort im Text vorhergesagt werden.
„Die Vorhersage des nächstes Wortes, Ereignisses oder Bildes ist ein Grundprinzip der Funktionsweise des menschlichen Gehirns. Daher wird es häufig auch als Vorhersagemaschine bezeichnet“, erklärt Krauss. „Rekurrente Sprachmodelle arbeiten auf ähnliche Weise: Sie übernehmen Informationen aus früheren Eingaben, um die Ausgabeergebnisse zu verbessern.“ Entscheidend für das Experiment war, dass das neuronale Netz mit keinerlei Informationen zu Syntax, Grammatik oder Wortarten versorgt wurde.
Das Ergebnis überraschte selbst die Wissenschaftler: „Die KI hat in einem bemerkenswerten Anteil der Fälle richtig gelegen“, sagt Patrick Krauss. „Das ist beeindruckend, denn man muss bedenken, dass es hier wirklich um das exakte Wort ging, nicht um eines mit ähnlicher Bedeutung.“ Vergleichbare Ergebnisse lieferte ein zweites neuronales Netz, das mit dem englischsprachigen Roman „Per Anhalter durch die Galaxis“ von Douglas Adams trainiert wurde. Damit die KI die Sätze nicht einfach auswendig lernen und vervollständigen konnte, bekamen die Modelle für ihre Testaufgabe nur Textpassagen, die sie im Training nicht gelesen hatten.
Spontanes Lernen von Wortklassen und Syntax
Um herauszufinden, wie die KI zu ihren Ergebnissen kommt, analysierten die Forscher die einzelnen Verarbeitungsschritte. „Rekurrente neuronale Netze sind in sogenannten bidirektionalen Long-Short-Term-Memory-Schichten organisiert“, erklärt Krauss. „Diese Schichten funktionieren wie ein Gedächtnis und geben uns einen Einblick in die verschiedenen Zwischenstände des Verarbeitungsprozesses.“ Dabei zeigte sich Erstaunliches: Die Sprachmodelle begannen Schicht für Schicht, die Eingabesequenzen, also die neun aufeinanderfolgenden Wörter, um spezielle Wortklassen zu gruppieren. Am Ende konnten sie mit einer hohen Wahrscheinlichkeit vorhersagen, ob als zehntes Wort beispielsweise ein Verb, ein Nomen oder ein Adjektiv folgt – obwohl sie keinerlei Informationen zur Klassifikation von Sprache besaßen.
„Unsere Ergebnisse belegen, dass abstrakte linguistische Kategorien wie Wortarten und Syntax- oder Grammatikregeln spontan in der neuronalen Verarbeitung sprachlicher Eingaben entstehen können“, sagt Patrick Krauss. „Dieser Befund stellt die Annahme infrage, dass die Fähigkeit, Wörter anhand ihrer grammatischen Funktion zu erkennen und zu kategorisieren, angeboren und im menschlichen Gehirn fest verdrahtet ist.“ Sprache sei vielmehr ein komplexes adaptives System, das sowohl von biologischen als auch von Umweltfaktoren geprägt wird. Die Studie, so Krauss weiter, liefere nicht nur neue Erkenntnisse über die Informationsverarbeitung im Gehirn. Sie könne auch zur Verbesserung von Sprachmodellen, maschineller Übersetzung und KI-Systemen allgemein beitragen.
