Token, Parameter und Inferenz

Sprachbasierte generative KI-Systeme nehmen Anweisungen in natürlicher Sprache entgegen, etwa im Eingabefeld, dem sogenannten Prompt. Sie zerlegen diese Anweisungen in einzelne Bestandteile – Wörter, Wortteile oder Satzzeichen –, die Token genannt werden. Wie viele Token ein System auf einmal verarbeiten kann, bestimmt die Größe seines Kontextfensters. Ein größeres Kontextfenster erlaubt längere Eingaben und kann die Qualität der Ergebnisse verbessern; die Tokenzahl ist also ein Leistungsmerkmal.

Beim Training werden die Trainingsdaten tokenisiert, und das Modell lernt aus ihnen die Parameter. Parameter sind die im Training optimierten Gewichte des Netzes, also der Verbindungen zwischen den Neuronen. Sie bestimmen, wie stark die Zusammenhänge zwischen Token ausgeprägt sind. Bild- und Audiomodelle verwenden andere Formen der Repräsentation von Informationen, das Prinzip ist aber vergleichbar.

Beim Antworten verrechnet die KI die Token des Prompts mit den gelernten Gewichten und berechnet für das jeweils nächste Token Wahrscheinlichkeiten. Die Antwort entsteht also Token für Token, je nachdem, wie wahrscheinlich die Bausteine zusammenpassen. Dieser Vorgang gehört zu dem, was man Inferenz nennt. KI bedient sich damit vor allem der Stochastik, also der Wahrscheinlichkeitsrechnung.

Die Größenordnungen haben sich rasant entwickelt. GPT-3.5 konnte etwa 4.096 Token in einer Unterhaltung verarbeiten und hatte vermutlich rund 175 Milliarden Parameter; offiziell bestätigt wurde das nie. Die gängigen Systeme können heute (Stand 2026) zwischen 256.000 und mehr als 2 Millionen Token pro Dialog verarbeiten und verfügen über Hunderte Milliarden bis mehrere Billionen Parameter. Wie viele Token man tatsächlich nutzen kann, hängt auch vom Lizenzmodell ab, denn der Tokenverbrauch dient der Abrechnung und der Begrenzung der Nutzung.