Temperatur und andere Sampling-Parameter

Bei einigen KI-Systemen lässt sich auf einer Skala einstellen, wie kreativ oder wie deterministisch die Ergebnisse ausfallen sollen. Genau genommen bestimmt man damit, wie gering die Streuung bei der Auswahl sein soll oder wie viel kreative Freiheit die KI erhält. Das führt zurück zur Frage, ob KI würfelt.

Generative KI berechnet anhand der Gewichte, wie wahrscheinlich ein bestimmtes Token das passende Folgetoken ist. Dazu ermittelt sie aus allen verfügbaren Token die in Frage kommenden und berechnet ihre Wahrscheinlichkeit. Aus dieser Auswahl wählt sie dann tatsächlich zufällig ein Token aus – man nennt das Sampling. Diese Zufälligkeit ist durchaus so etwas wie Würfeln. Über sogenannte Sampling-Parameter kann man bei manchen Modellen und Anwendungen festlegen, wie breit die Auswahl der Kandidaten gestreut ist.

Der bekannteste Parameter ist die Temperatur. Sie steuert, wie stark das Modell bei der Wahl des nächsten Wortes vom wahrscheinlichsten Vorschlag abweicht. Bei niedrigen Werten antwortet es vorhersehbar und sachlich und bei gleicher Frage in verschiedenen Dialogen meist ähnlich. Bei hohen Werten wählt es öfter auch weniger naheliegende Wörter; die Antworten werden abwechslungsreicher und kreativer, aber auch ungenauer oder abwegiger. Eine Temperatur von 0 bedeutet nicht, dass die Antwort sicher korrekt ist. Sie erhöht nur die Wahrscheinlichkeit, dass die Antwort im Rahmen der Fähigkeiten des Modells vorhersehbarer wird. Der Begriff ist an die Physik angelehnt: Je höher die Temperatur eines Stoffs, desto stärker bewegen sich seine Moleküle und desto zufälliger ist ihre Verteilung.