Hochrisiko-KI-Systeme

Hochrisiko-KI darf verwendet werden, aber nur unter Einhaltung bestimmter Regeln, die zeitlich gestaffelt in Kraft treten. Vorgesehen sind insbesondere Risikoabschätzungen mit daraus abgeleiteten Maßnahmen, Transparenz und menschliche Kontrolle. Etliche dieser Pflichten treffen den Betreiber; der Anbieter muss vor allem gewährleisten, dass seine Systeme zuverlässig arbeiten.

Als Hochrisiko-KI gelten zum Beispiel biometrische Systeme zur Fernidentifizierung, soweit sie nicht verboten sind, sowie KI für Management und Betrieb kritischer Infrastruktur. Dazu kommen KI für allgemeine und berufliche Bildung, für den Zugang zu grundlegenden privaten und öffentlichen Diensten und Leistungen und – besonders relevant – für Beschäftigung, Personalmanagement und den Zugang zur Selbstständigkeit. Weitere Bereiche sind Strafverfolgung, Migration, Asyl und Grenzkontrolle sowie Rechtspflege und demokratische Prozesse. Hochrisiko-KI findet sich auch als Sicherheitsbauteil oder als kritische Infrastruktur, etwa in der Luftfahrt, in Medizinprodukten, in der Strom- und Wasserversorgung, in Verkehrsleitsystemen oder in Aufzügen. Selbst KI in Kinderspielzeug gehört in diese Kategorie.

Für Hochrisiko-KI schreiben Art. 8 ff. EU-KI-VO besondere Sicherheitsmechanismen vor: Risikoabschätzung, Qualitäts- und Risikomanagement und weitgehende Anforderungen an die Qualität der Trainingsdaten. Hinzu kommen Dokumentations- und Nachweispflichten, Anforderungen an Cybersicherheit, Robustheit und Genauigkeit, eine dokumentierte Konformitätsbewertung mit CE-Kennzeichnung und die Registrierung in der EU-Datenbank für Hochrisiko-KI-Systeme.

Die Pflichten hinsichtlich der Trainingsdaten und der Verlässlichkeit treffen die Anbieter. Die Betreiber müssen aber prüfen, ob der Anbieter seine Pflichten erfüllt hat, und gewährleisten, dass das System ausschließlich gemäß der Betriebsanleitung verwendet wird. Insbesondere ist bei Hochrisiko-Systemen vorgeschrieben, dass Menschen ihre Funktionen überwachen („Human in the Loop“). Solche Systeme dürfen keinesfalls autonom Entscheidungen über Menschen treffen. Für Betriebs- und Personalräte ist interessant, wie diese Aufsicht in den betrieblichen Alltag integriert werden kann, ohne die damit beauftragten Beschäftigten zu überfordern.