Multimodale und spezialisierte Modelle

Frühe Chatbots konnten in der Regel nur Text verarbeiten. Heute sind die meisten KI-Systeme für allgemeine Zwecke multimodal: Mit demselben Prompt lassen sich Texte, Diagramme, Bilder und gelegentlich sogar Videos verarbeiten und teilweise auch erstellen. Manche Anbieter stellen zusätzlich eine Arbeitsfläche zur Weiterbearbeitung oder Zusammenarbeit bereit, die oft „Canvas“ heißt.

Nicht alle KI-Modelle sind Sprachmodelle, mit denen man chattet. Es gibt spezialisierte Modelle für bestimmte Aufgaben: Speech-to-Text für die Transkription gesprochener Sprache, Text-to-Image und Text-to-Video für die Erzeugung von Bildern und Videos aus Prompts, Embedding-Modelle, die inhaltliche Strukturen in Texten rechnerisch abbilden, und Decision-Modelle, die Ja-Nein-Entscheidungen treffen oder aus Optionen auswählen. Für Transkription sind etwa Whisper und GPT-4o Transcribe von OpenAI, Voxtral von Mistral oder Nemotron von NVIDIA im Einsatz. Bilder werden gern mit GPT Image (OpenAI), Nano Banana (Google), FLUX (Black Forest Labs) oder Seedream (Bytedance) erzeugt, Videos zum Beispiel mit Veo (Google), FLUX 3 Video oder Wan (Alibaba).