Top-P und der Zufall

Ein weiterer Parameter ist Top-P. Er legt fest, wie viele der möglichen nächsten Token überhaupt zur Auswahl stehen. Das Modell sortiert die Kandidaten vom wahrscheinlichsten abwärts und berücksichtigt nur so viele, bis ihre Wahrscheinlichkeiten zusammen den eingestellten Wert erreichen, etwa 0,9 oder 90 %. Ein niedriger Wert macht die Antworten konservativer und fokussierter, ein hoher Wert lässt mehr Vielfalt zu.

In gewisser Weise und in geringem Umfang würfelt KI also doch. Sie berechnet zunächst mit Wahrscheinlichkeitsmodellen, welche Token in Betracht kommen, und wählt daraus mehr oder minder zufällig eines aus. Manche Programme erlauben gewissermaßen, die Zahl der Würfelflächen zu bestimmen, also die Zahl der Kandidaten zu begrenzen. In den gängigen Chatbots wie ChatGPT, Claude, Gemini oder Copilot kann man diese Werte allerdings nicht im Promptfenster einstellen. Sie bieten dafür entweder gar keine Einstellungen oder spezielle Zugänge, sogenannte Playgrounds; ansonsten bestimmen die Modelle die Werte automatisch.