Gefahren agentischer KI und Alignment

Im Sommer 2026 wurde intensiv darüber diskutiert, wie gefährlich „losgelassene“ KI tatsächlich werden kann. Die sogenannte Doomer-Fraktion überbot sich mit prozentualen Schätzungen des Risikos, dass die Menschheit vernichtet wird, andere waren weniger alarmistisch. Besorgnis haben aber die meisten geäußert, die sich mit dem Thema befassen und auskennen. Die aufsehenerregenden Ereignisse dieses Sommers wurden überwiegend durch agentische KI verursacht. Das zuvor geschilderte Modell arbeitsteilig agierender Agenten führte in einigen Fällen dazu, dass zahlreiche Sub-Agenten unkontrolliert aktiv wurden und die von den Entwicklern gesetzten Regeln ignorierten. Von dieser Art des KI-Einsatzes geht also ein besonderes Risiko aus.