Rekursive Selbstverbesserung

Ein weiteres Problem besteht darin, dass KI genutzt wird, um ihre eigenen Nachfolger zu entwickeln. KI ist sehr gut im Programmieren und damit auch geeignet, KI-Software zu entwickeln. Da agentische KI weitgehend autonom handelt, kann sie sich selbst bzw. ihre Nachfolger autonom und womöglich unkontrolliert weiterentwickeln. Man nennt das rekursive Selbstverbesserung. Irgendwann könnte sie auf diese Weise Fähigkeiten entwickeln, die den menschlichen überlegen sind. Dem versucht man entgegenzuwirken, indem agentische KI nicht vollkommen autonom handeln darf – auch nicht bei ihrer eigenen Weiterentwicklung – und indem man ihr durch Alignment Grenzen setzt.