Kurzdefinition: Die menschliche Aufsicht ist die Pflicht, Hochrisiko-KI-Systeme unter wirksamer Kontrolle natürlicher Personen zu halten. Nach Art. 14 KI-VO sind sie so zu konzipieren und zu entwickeln, dass Menschen sie während der Dauer ihrer Verwendung wirksam beaufsichtigen können. [N-KI-VO-14]
Der Normwortlaut
Art. 14 Abs. 1 KI-VO bestimmt, dass Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, „dass sie während der Dauer ihrer Verwendung — auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle — von natürlichen Personen wirksam beaufsichtigt werden können“. Absatz 2 nennt als Zweck die Verhinderung oder Minimierung von Risiken für Gesundheit, Sicherheit oder Grundrechte. [N-KI-VO-14]
Für welche KI-Systeme gilt die menschliche Aufsicht?
Für Hochrisiko-KI-Systeme. Art. 14 KI-VO ist eine der Kernanforderungen an diese Klasse; für KI ohne Hochrisiko-Einstufung besteht die Pflicht in dieser Form nicht. Ob ein System hochrisikobehaftet ist, richtet sich nach Art. 6 KI-VO. [N-KI-VO-14] [N-KI-VO-6]
Was muss die Aufsicht leisten?
Sie muss Risiken beherrschbar halten. Nach Art. 14 KI-VO dient die menschliche Aufsicht dazu, Risiken für Gesundheit, Sicherheit oder Grundrechte zu verhindern oder zu minimieren — auch bei vernünftigerweise vorhersehbarer Fehlanwendung. Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung angemessen sein. [N-KI-VO-14]
Wer stellt die menschliche Aufsicht sicher?
Anbieter und Betreiber, in verteilten Rollen. Nach Art. 14 KI-VO werden die Vorkehrungen teils vom Anbieter vor dem Inverkehrbringen bestimmt, teils vom Betreiber umgesetzt. Der Betreiber betraut nach Art. 26 KI-VO geeignete, kompetente Personen mit der Aufsicht. Menschliche Aufsicht ist damit keine reine Technikfrage, sondern auch eine Organisations- und Personalfrage. [N-KI-VO-14] [N-KI-VO-26]
Welchem Zweck dient die menschliche Aufsicht?
Dem Grundrechtsschutz. Nach Art. 14 Abs. 2 KI-VO dient die menschliche Aufsicht dazu, Risiken für die Gesundheit, die Sicherheit oder die Grundrechte zu verhindern oder zu minimieren, die entstehen können, wenn ein Hochrisiko-KI-System verwendet wird. Sie ist Schutzmechanismus, nicht bloße Formalie. [N-KI-VO-14]
Was gilt bei biometrischer Identifizierung besonders?
Ein Vier-Augen-Prinzip. Der Betreiber darf keine Maßnahme oder Entscheidung allein aufgrund des Ergebnisses eines Systems zur biometrischen Identifizierung treffen, solange dieses Ergebnis nicht von mindestens zwei natürlichen Personen mit der nötigen Kompetenz gesondert überprüft und bestätigt wurde. [N-KI-VO-14]
Häufige Fehlannahmen
- „Menschliche Aufsicht gilt für jedes KI-System.“ Nein. Art. 14 KI-VO betrifft Hochrisiko-KI-Systeme. [N-KI-VO-14]
- „Ein Not-Aus-Knopf genügt.“ Nicht zwingend. Die Maßnahmen müssen den Risiken, der Autonomie und dem Nutzungskontext angemessen sein. [N-KI-VO-14]
- „Die Aufsicht ist allein Sache des Anbieters.“ Nein. Vorkehrungen werden vom Anbieter bestimmt und vom Betreiber umgesetzt. [N-KI-VO-14]
- „Aufsicht heißt nur zuschauen.“ Nein. Die aufsichtführenden Personen müssen die Fähigkeiten und Grenzen des Systems verstehen, Anomalien und Fehlfunktionen erkennen und den Betrieb erforderlichenfalls unterbrechen oder das System abschalten können. [N-KI-VO-14]
- „Bei biometrischer Identifizierung genügt eine Person.“ Nein. Der Betreiber darf keine Maßnahme oder Entscheidung allein aufgrund des Ergebnisses treffen, solange es nicht von mindestens zwei natürlichen Personen mit der nötigen Kompetenz gesondert überprüft und bestätigt wurde. [N-KI-VO-14]
Was die Geschäftsleitung tun sollte
- Einstufung klären. Die Pflicht trifft Hochrisiko-KI-Systeme.
- Aufsicht ermöglichen. Mensch-Maschine-Schnittstellen und Eingriffsmöglichkeiten vorsehen.
- Personen benennen. Kompetente natürliche Personen mit der Aufsicht betrauen.
- Angemessenheit prüfen. Maßnahmen an Risiko, Autonomie und Kontext ausrichten.
Für die Geschäftsleitung
Menschliche Aufsicht bedeutet, dass eine Hochrisiko-KI nie ohne wirksame menschliche Kontrolle laufen soll. Die Verordnung verlangt, dass Systeme so gebaut sind, dass Menschen eingreifen können — und dass die Aufsicht zum Risiko passt. Anbieter legen die Vorkehrungen an, Betreiber setzen sie mit kompetentem Personal um. Es ist damit ebenso eine Technik- wie eine Organisationsaufgabe.
Quellen
- [N-KI-VO-14] Art. 14 KI-VO (Menschliche Aufsicht), Abs. 1 bis 5. Verordnung (EU) 2024/1689, CELEX 32024R1689. Amtlich: https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689
- [N-KI-VO-6] Art. 6 KI-VO (Einstufungsvorschriften für Hochrisiko-KI-Systeme). Verordnung (EU) 2024/1689, CELEX 32024R1689. Amtlich: https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689
- [N-KI-VO-26] Art. 26 KI-VO (Pflichten der Betreiber von Hochrisiko-KI-Systemen). Verordnung (EU) 2024/1689, CELEX 32024R1689. Amtlich: https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689
