Kurzdefinition: Das Risikomanagementsystem ist die zentrale Prozesspflicht für Hochrisiko-KI-Systeme. Nach Art. 9 KI-VO ist für sie ein kontinuierlicher Prozess zur Ermittlung, Bewertung und Bewältigung von Risiken einzurichten, anzuwenden, zu dokumentieren und aufrechtzuerhalten. [N-KI-VO-9]
Der Normwortlaut
Art. 9 Abs. 1 KI-VO lautet: „Für Hochrisiko-KI-Systeme wird ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten.“ Absatz 2 bestimmt, dass es sich als „ein kontinuierlicher iterativer Prozess“ versteht, der über den gesamten Lebenszyklus geplant und durchgeführt wird. [N-KI-VO-9]
Für welche KI-Systeme gilt die Pflicht?
Nur für Hochrisiko-KI-Systeme. Art. 9 KI-VO ist eine Kernanforderung an diese Klasse; für KI-Systeme ohne Hochrisiko-Einstufung besteht die Pflicht in dieser Form nicht. Die richtige Einstufung nach Art. 6 KI-VO entscheidet also darüber, ob ein Risikomanagementsystem einzurichten ist. [N-KI-VO-9] [N-KI-VO-6]
Was muss das Risikomanagementsystem leisten?
Einen fortlaufenden Kreislauf. Nach Art. 9 KI-VO umfasst es die Ermittlung und Analyse der bekannten und vernünftigerweise vorhersehbaren Risiken, die Bewertung der Risiken bei bestimmungsgemäßer Verwendung und bei vernünftigerweise vorhersehbarer Fehlanwendung sowie die Ergreifung geeigneter Risikomanagementmaßnahmen. Es ist kein einmaliges Dokument, sondern ein iterativer Prozess, der regelmäßig zu überprüfen und zu aktualisieren ist. [N-KI-VO-9]
Wie verhält es sich zu anderen Managementsystemen?
Es steht neben ihnen. Das Risikomanagementsystem der KI-VO ist speziell auf die Risiken von Hochrisiko-KI zugeschnitten und nicht mit dem Risikomanagement nach § 30 BSIG oder der Sicherheit nach Art. 32 DSGVO identisch. Die Systeme können sich in der Organisation überschneiden, sind aber jeweils eigenständig zu erfüllen. [N-KI-VO-9]
Über welchen Zeitraum läuft das Risikomanagementsystem?
Über den gesamten Lebenszyklus. Art. 9 Abs. 2 KI-VO versteht das System als kontinuierlichen iterativen Prozess, der über die gesamte Lebensdauer des Hochrisiko-KI-Systems geplant und durchgeführt wird und regelmäßiger Überprüfung und Aktualisierung bedarf. Es endet nicht mit der Entwicklung. [N-KI-VO-9]
Muss das System dokumentiert werden?
Ja. Nach Art. 9 Abs. 1 KI-VO wird das Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten. Die Dokumentation ist damit ausdrücklicher Bestandteil der Pflicht, nicht bloß eine Empfehlung. [N-KI-VO-9]
Häufige Fehlannahmen
- „Jedes KI-System braucht ein Risikomanagementsystem nach Art. 9.“ Nein. Die Pflicht gilt für Hochrisiko-KI-Systeme. [N-KI-VO-9]
- „Ein einmaliges Risikodokument genügt.“ Nein. Art. 9 KI-VO verlangt einen kontinuierlichen, über den Lebenszyklus geführten Prozess. [N-KI-VO-9]
- „Das BSIG-Risikomanagement deckt Art. 9 KI-VO ab.“ Nein. Es ist ein eigenständiges, KI-spezifisches System. [N-KI-VO-9]
- „Das Risikomanagementsystem prüft nur bei der Entwicklung.“ Nein. Es ist ein kontinuierlicher, iterativer Prozess über den gesamten Lebenszyklus mit regelmäßiger Überprüfung und Aktualisierung. [N-KI-VO-9]
- „Es genügt, Risiken einmal zu benennen.“ Nein. Die Ermittlung und Analyse der bekannten und vorhersehbaren Risiken muss mit der Ergreifung geeigneter Risikomanagementmaßnahmen verbunden werden. [N-KI-VO-9]
Was die Geschäftsleitung tun sollte
- Einstufung klären. Nur Hochrisiko-KI löst die Pflicht aus.
- Prozess aufsetzen. Ermittlung, Bewertung und Bewältigung von Risiken über den Lebenszyklus.
- Fehlanwendung einbeziehen. Auch vernünftigerweise vorhersehbare Fehlanwendung bewerten.
- Fortschreiben. Regelmäßig überprüfen und aktualisieren, nicht einmalig ablegen.
Für die Geschäftsleitung
Das Risikomanagementsystem ist eine Kernpflicht für Hochrisiko-KI: ein fortlaufender Prozess, der die Risiken einer KI über ihren gesamten Lebenszyklus im Blick behält — auch die vorhersehbare Fehlanwendung. Es gilt nur für Hochrisiko-KI, ist aber dort keine Formalie, sondern eine Daueraufgabe. Und es steht neben dem BSIG- und dem DSGVO-Regime, ersetzt sie nicht.
Quellen
- [N-KI-VO-9] Art. 9 KI-VO (Risikomanagementsystem), Abs. 1 und 2. Verordnung (EU) 2024/1689, CELEX 32024R1689. Amtlich: https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689
- [N-KI-VO-6] Art. 6 KI-VO (Einstufungsvorschriften für Hochrisiko-KI-Systeme). Verordnung (EU) 2024/1689, CELEX 32024R1689. Amtlich: https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689
