Künstliche neuronale Netze

Neuronale Netze von Computern nutzen ähnliche Mechanismen. Sie verbinden künstliche Neuronen über Verbindungen, deren Stärke als Zahl gespeichert wird – dem sogenannten Gewicht. Texte werden dabei von einem Tokenizer in kleine Bausteine zerlegt, die Token, und über numerische Vektoren verarbeitet, die man Embeddings nennt. Auch ein Computer kann erkennen, ob bestimmte Merkmale in unterschiedlichen Informationen wiederholt und gleichartig vorkommen, und verknüpft sie dann miteinander. Wiederkehrende Merkmale in Texten, Zahlenreihen oder Bildern werden als Muster erkannt, die Stärke des Zusammenhangs wird durch unterschiedliche Gewichte ausgedrückt.

Die Gewichte erhalten durch mathematische Optimierung – etwa anhand der Häufigkeit gleichartigen Vorkommens oder des Grades der Ähnlichkeit – einen höheren oder niedrigeren Wert. Die Gewichtung beruht also auf mathematischen, vor allem statistischen Verfahren. Ein Beispiel: In den Sätzen „Betriebsräte vertreten die Interessen von Arbeitnehmern“, „Betriebsräte werden von Arbeitnehmern gewählt“ und „Interessen von Arbeitnehmern können von Betriebsräten wirkungsvoll durchgesetzt werden“ kommen die Begriffe „Betriebsräte“, „Arbeitnehmer“ und „Interessen“ immer wieder gemeinsam vor. Sie werden deshalb als zusammengehörig erkannt und mit hohen Werten verknüpft. Die Verbindung zwischen „Betriebsräte“ und „Arbeitnehmer“ erhielte in diesem Beispiel etwa den Höchstwert 10, schwächer verknüpft sind dagegen Begriffe wie „durchgesetzt“ oder „gewählt“, die seltener gemeinsam auftreten.