Halluzinationen und Gefälligkeit

Generative KI ist vor allem darauf ausgerichtet, neue, gut und plausibel wirkende Inhalte zu schaffen. Ob diese auf Fakten beruhen, ist bei diesen Modellen oft zweitrangig. Nicht selten werden deshalb Aussagen in die erzeugten Informationen „hineinhalluziniert“. Laut ChatGPT war der Autor dieser Seiten 2024 der junge Gründer eines Start-ups für eingebettete Systeme der Mikroelektronik – daran war außer dem Geschlecht nichts wahr. Bei Google Bard, dem Vorgänger von Gemini, war die JES GmbH ein auf erneuerbare Energien spezialisiertes Unternehmen.

Der Grund liegt in der Funktionsweise: Generative KI arbeitet mit stochastischen Modellen, also mit Wortfolgen, die statistisch plausibel sind. Ob sie wahr sind, wird dabei nicht geprüft. Es entstehen Informationen, die mit hoher Wahrscheinlichkeit wahr sein können, es aber nicht sein müssen. Moderne Systeme können Aussagen jedoch durch den Einsatz von Werkzeugen, den Abruf externer Datenquellen und zusätzliche Prüfschritte verifizieren, etwa im Modus „Deep Research“. Das Problem der Halluzination hat seit den früheren Modellen deutlich abgenommen.

Hinzu kommt, dass die meisten KI-Modelle darauf trainiert sind, dem Benutzer zu gefallen. Sie neigen deshalb dazu, sich einzuschmeicheln. Antworten wie „Das ist eine tolle Frage, lass mich schauen, wie ich sie beantworten kann …“ sind nichts anderes als Schmeicheleien. Sie verleiten Benutzer womöglich dazu, der KI bereitwillig zu glauben, wo sie kritisch sein sollten.

Instrumente der Verifikation sind nicht bei allen Systemen vorhanden, was ihre Nutzung etwa als Expertensystem oder Wissensdatenbank oft einschränkt. Man sollte sich auf solche Informationen nicht verlassen, erst recht nicht bei existenziell wichtigen Entscheidungen. Im Reasoning- oder Deep-Research-Modus werden aber bessere Ergebnisse erzielt.