19.02.2024

©MCML & V. Hofmann - LMU

Get to know MCML Junior Member Valentin Hofmann

Created during the first MCMLxDJS-Workshop

Valentin Hofmann is actually a former MCML Junior Member. He was a researcher at LMU and a PHD student at the University of Oxford and recently finished his PhD. He is now a Young Investigator (Postdoc) at the Allen Institute for AI. During his PhD, he also spent time as a research intern at DeepMind and as a visiting scholar at Stanford University. Valentin Hofmann’s research focuses on the link between natural language processing and the social and cognitive sciences.

This article was written by Konrad Ringleb, from the Deutsche Journalistenschule (DJS). It was created in a workshop together with DJS. Talented journalism students met some of MCML`s junior researchers and got a glimpse of their work. The result: One article about the research of each junior member that took part at the workshop written by one journalism student. We will upload one article each Tuesday. Stay tuned for some more insights.

Chatbots und ihr Kampf mit den Bandwürmern

Der Computerlinguist Valentin Hofmann will Chatbots dabei helfen, komplizierte Wörter zu verstehen.

Alle reden über ChatGPT und KI-Modelle, die immer schlauer werden. Aber stellt ein Nutzer eine Frage zur Donaudampfschifffahrtsgesellschaftskapitänswitwe, sind die meisten Chatbots ratlos.

Die deutsche Sprache kennt so viele lange Wörter wie kaum eine andere. Im Alltag nennen manche sie Bandwürmer. Mit meiner Forschung will ich KI-Modellen beibringen, Bandwürmer zu entwirren, sie in Einzelteile zu zerlegen und zu verstehen. Nehmen wir zum Beispiel das englische Wort superbizarre. Ein Chatbot würde es zerlegen in superb und izarre – damit geht der Sinn verloren, weil er anstelle von superkomisch das Wort superb (“toll”) erkennen würde und das verwirrende Anhängsel izarre zurückließe.

Das liegt daran, dass Chatbots ihr Vokabular lernen, indem sie Texte mit Algorithmen auswerten. Sie achten nicht darauf, wie das menschliche Hirn Wörter zerlegt. Ein Mensch liest oder hört ein Wort, zerpflückt es in Einzelteile und setzt es wieder zusammen wie ein Puzzle. Die Puzzleteile nennt man Morpheme. Ich habe mit meinen Kollegen in einer Studie gezeigt, dass Googles Software BERT komplexe Wörter genauer erkennt, wenn es sie nach Morphemen durchleuchtet.

Die KI-Programme kennen die nötigen Morpheme. Aber sie schaffen es oft nicht, ihr Wissen einzusetzen und die Wörter korrekt zu zerlegen. Zur Wahrheit gehört aber auch: Es ist oft einfacher, eine datenbasierte Methode zu verwenden. Die menschliche Sprache ist ein Chaos. Nehmen wir die sozialen Medien, da verschreibt sich jemand, ein Anderer erfindet neue Wörter. Da funktioniert die morphologische Auswertung nicht so gut.

Wenn man aber zu Beginn aufpasst und den Algorithmus nur mit Morphemen füttert, dann läuft es. Das ist für manche Sprachen leichter als für andere. Das Finnische kennt unglaublich viele komplexe Wörter, wir reden oft nur über deutsch oder englisch. Das ist auch eine meiner Fragen: Wie können Chatbots für alle Sprachen gleich gut funktionieren? Ich finde es unfair, dass sie für manche Sprachen gut, für andere weniger gut funktionieren.

Ich habe auch Kontakt zu Google. In unserem Forschungsbereich ist die Verbindung zwischen Forschung und Unternehmen enger als in manch anderen Feldern. Letztes Jahr habe ich bei Googles KI-Initiative Deep Mind gearbeitet. Auch einige meiner Doktoranden-Kollegen machen Praktika bei Facebook, Amazon oder Google. Manche arbeiten nach der Promotion ein paar Jahre dort und kehren später in an die Universität zurück. Wir tauschen uns regelmäßig aus. Ich als Forscher bleibe natürlich unabhängig.

Ich glaube, dass sich in meinem Forschungsgebiet einiges entwickeln wird. Wenn es Chatbots gelingt, Sprache genauer zu verstehen, werden sie auf einen Schlag deutlich besser. Mich würde es sehr wundern, wenn in fünf Jahren noch immer so schlecht segmentiert wird. Denn die präzise Analyse von Wörtern ist eine naheliegende und noch dazu günstige Art, Modelle wie ChatGPT zu verbessern. Ob es dann unser Vorschlag wird, weiß ich nicht. Aber ich bin sicher: Morpheme sind ein Schlüssel.

Valentin Hofmann war Doktorand an der Fakultät für Linguistik der Universität Oxford in Großbritannien und wissenschaftlicher Mitarbeiter am Centrum für Informations– und Sprachverarbeitung der Ludwigs-Maximilians-Universität (LMU) in München. Zuvor studierte er an der LMU und begann, die Sprachanalyse von KI-Modellen zu erforschen. In seiner Freizeit jongliert er gern.

19.02.2024