Transformermodelle und moderne Sprachmodelle

Viele frühe KI-Modelle verarbeiteten Daten sequenziell: einen Text Wort für Wort, ein Bild Ausschnitt für Ausschnitt, eine Zahlenreihe Zahl für Zahl. Dadurch erkannten sie Beziehungen zwischen benachbarten Elementen, größere Zusammenhänge aber nur eingeschränkt. Ein Beispiel ist der Satz „Die Bank ist gesperrt, weil sie lackiert wurde.“ Ein sequenzielles Modell erkennt schlecht, dass sich „sie“ auf die weiter entfernte „Bank“ bezieht und es sich deshalb um eine Sitzbank handeln muss. Es könnte „Bank“ ebenso gut als Geldinstitut verstehen.

Transformermodelle haben dieses Problem deutlich verringert. Bei ihnen werden alle Elemente einer Informationsmenge mit allen anderen in Beziehung gesetzt. Das ist sehr rechenintensiv und erfordert besonders leistungsfähige Prozessoren, die ursprünglich für die parallele Verarbeitung von Bilddaten entwickelt wurden. Es führt aber zu revolutionär besseren Ergebnissen des maschinellen Lernens.

Es entstehen nicht nur Beziehungen zwischen einzelnen benachbarten Elementen, sondern so etwas wie ein Gesamtverständnis der Information. Transformermodelle bilden den Kontext deutlich besser ab. Sie arbeiten zwar weiterhin mit statistisch ermittelten Gewichten zwischen den Neuronen, analysieren die Information aber in ihrer Gesamtheit und im Zusammenhang mit anderen Informationen. Ihre Ergebnisse sind deshalb deutlich besser als die sequenzieller Modelle.

Von hier zur modernen generativen KI war es nur noch ein kleiner Schritt. Sind die einzelnen Informationen gespeichert und ihre Beziehungen untereinander hergestellt und gewichtet, kann man die Informationsbausteine auch neu kombinieren, sodass ein neuer Sinn entsteht. Genau das tut generative KI: Sie setzt aus einzelnen Bausteinen wie den Token einen neuen Text, ein neues Bild oder ein neues Video zusammen. Dabei nutzt sie die Parameter, also die statistisch ermittelten Beziehungen zwischen den Neuronen, um zu entscheiden, welche Informationen wahrscheinlich zusammengehören. Deshalb liefert generative KI „wahrscheinlich“ ein gutes, plausibles und neues Ergebnis – nicht deterministisch zuverlässig, dafür aber kreativer.