Was ist ein Qualitätsmanagementsystem für Hochrisiko-KI?
Ein Qualitätsmanagementsystem für Hochrisiko-KI ist das vom Anbieter einzurichtende, systematisch und ordnungsgemäß schriftlich dokumentierte System aus Regeln, Verfahren und Anweisungen, das die Einhaltung der KI-Verordnung gewährleistet und mindestens die Aspekte aus Artikel 17 Absatz 1 Buchstaben a bis m umfasst.
Der Normwortlaut
Normtext: Artikel 17 Absätze 1 bis 4 der Verordnung (EU) 2024/1689 bestimmt:
Anbieter von Hochrisiko-KI-Systemen richten ein Qualitätsmanagementsystem ein, das die Einhaltung dieser Verordnung gewährleistet. Dieses System wird systematisch und ordnungsgemäß in Form schriftlicher Regeln, Verfahren und Anweisungen dokumentiert und umfasst mindestens folgende Aspekte:
a) eine Strategie zur Einhaltung der Vorschriften, einschließlich der Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für die Verwaltung von Änderungen an dem Hochrisiko-KI-System;
b) die anzuwendenden Techniken, Verfahren und systematischen Maßnahmen für den Entwurf, die Entwurfskontrolle und die Entwurfsüberprüfung des Hochrisiko-KI-Systems;
c) die anzuwendenden Techniken, Verfahren und systematischen Maßnahmen für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des Hochrisiko-KI-Systems;
d) die vor, während und nach der Entwicklung des Hochrisiko-KI-Systems durchzuführenden Untersuchungs-, Test- und Validierungsverfahren und die Häufigkeit, mit der sie durchgeführt werden müssen;
e) die anzuwendenden technischen Spezifikationen, einschließlich Normen, sowie — wenn die einschlägigen harmonisierten Normen nicht oder nur teilweise angewandt werden oder keine harmonisierten Normen vorliegen — die Mittel, mit denen gewährleistet werden soll, dass das Hochrisiko-KI-System die in Kapitel III Abschnitt 2 festgelegten Anforderungen erfüllt;
f) Systeme und Verfahren für die Datenverwaltung, einschließlich Datenerhebung, Datenbeschaffung, Datenanalyse, Datenkennzeichnung, Datenspeicherung, Datenfilterung, Data-Mining, Datenaggregation, Datenaufbewahrung und alle sonstigen Vorgänge in Bezug auf die Daten, die vor und für die Zwecke des Inverkehrbringens oder der Inbetriebnahme von Hochrisiko-KI-Systemen durchgeführt werden;
g) das Risikomanagementsystem gemäß Artikel 9;
h) die Einrichtung, Umsetzung und Aufrechterhaltung eines Systems zur Beobachtung nach dem Inverkehrbringen gemäß Artikel 72;
i) Verfahren für die Meldung schwerwiegender Vorfälle gemäß Artikel 73;
j) die Kommunikation mit den zuständigen nationalen Behörden, anderen einschlägigen Behörden, auch denjenigen, die den Zugang zu Daten gewähren oder unterstützen, notifizierten Stellen, anderen Akteuren, Kunden oder sonstigen interessierten Kreisen;
k) Systeme und Verfahren für die Aufzeichnung aller einschlägigen Unterlagen und Informationen;
l) Ressourcenmanagement, einschließlich Maßnahmen im Zusammenhang mit der Versorgungssicherheit;
m) einen Rechenschaftsrahmen, in dem die Verantwortlichkeiten der Leitung und des sonstigen Personals in Bezug auf alle in diesem Absatz aufgeführten Aspekte festgelegt sind.
Die Umsetzung der in Absatz 1 genannten Aspekte erfolgt in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters. Die Anbieter müssen in jedem Fall den Grad der Strenge und das Schutzniveau einhalten, die erforderlich sind, um die Übereinstimmung ihrer Hochrisiko-KI-Systeme mit dieser Verordnung sicherzustellen.
Anbieter von Hochrisiko-KI-Systemen, die gemäß dem einschlägigen sektorspezifischen Unionsrecht Verpflichtungen in Bezug auf Qualitätsmanagementsysteme oder eine gleichwertige Funktion unterliegen, können die in Absatz 1 aufgeführten Aspekte als Teil der Qualitätsmanagementsysteme gemäß diesem Recht einbeziehen.
Bei Anbietern, die Finanzinstitute sind und gemäß den Rechtsvorschriften der Union über Finanzdienstleistungen Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung unterliegen, gilt die Pflicht zur Einrichtung eines Qualitätsmanagementsystems — mit Ausnahme des Absatzes 1 Buchstaben g, h und i des vorliegenden Artikels — als erfüllt, wenn die Vorschriften über Regelungen oder Verfahren der internen Unternehmensführung gemäß dem einschlägigen Unionsrecht über Finanzdienstleistungen eingehalten werden.
Auslegung: Die Organisationsgröße beeinflusst die Umsetzung, nicht aber das erforderliche Strenge- und Schutzniveau. Nach Artikel 17 Absatz 3 dürfen Anbieter, die bereits aufgrund einschlägigen sektoralen Unionsrechts ein Qualitätsmanagementsystem oder eine gleichwertige Funktion unterhalten müssen, die Aspekte des Absatzes 1 darin einbeziehen. Die Erfüllungsfiktion des Absatzes 4 gilt nur für die dort bezeichneten Finanzinstitute und lässt die Aspekte aus Absatz 1 Buchstaben g, h und i unberührt.
Wer muss das Qualitätsmanagementsystem einrichten?
Adressaten sind Anbieter im Sinne von Artikel 3 Nummer 3, deren System nach Artikel 6 Absatz 1 oder 2 hochriskant ist. Artikel 6 Absatz 1 verlangt kumulativ ein KI-System als Sicherheitsbauteil eines von Anhang I erfassten Produkts oder als solches Produkt sowie eine unionsrechtlich vorgeschriebene Konformitätsbewertung durch Dritte. Artikel 6 Absatz 2 erfasst die in Anhang III genannten Systeme.
Für ein Anhang-III-System kann Artikel 6 Absatz 3 die Hochrisikoeinstufung unter seinen engen Voraussetzungen ausschließen. Ein System, das Profiling natürlicher Personen durchführt, gilt jedoch stets als hochriskant. Für die von Artikel 2 Absatz 2 erfassten, mit Produkten aus Anhang I Abschnitt B verbundenen Systeme gilt Artikel 17 nicht.
Wann können andere Akteure zum Anbieter werden?
Händler, Einführer, Betreiber oder sonstige Dritte können nach Artikel 25 Absatz 1 die Anbieterpflichten für ein Hochrisiko-KI-System übernehmen: insbesondere wenn sie das System mit ihrem Namen oder ihrer Handelsmarke kennzeichnen, es wesentlich verändern oder seine Zweckbestimmung so ändern, dass es zu einem Hochrisiko-KI-System wird. Der ursprüngliche Anbieter gilt in diesen Fällen grundsätzlich nicht mehr als Anbieter dieses spezifischen Systems. Artikel 25 Absatz 3 enthält zudem eine besondere Anbieterzuordnung zum Produkthersteller für bestimmte KI-Sicherheitsbauteile von Anhang-I-Produkten.
Das jeweils einschlägige Konformitätsbewertungsverfahren ist nach Artikel 16 Buchstabe f vor dem Inverkehrbringen oder der Inbetriebnahme durchzuführen.
Welche Inhalte muss das QMS abdecken?
Technische Einordnung: Das QMS ist ein produkt- und lebenszyklusbezogener Governance-Rahmen, nicht bloß eine Sammlung technischer Unterlagen. Artikel 17 Absatz 1 verlangt mindestens die Aspekte aus den Buchstaben a bis m. Dazu gehören insbesondere eine Compliance-Strategie, Verfahren für Entwurf und Entwicklung, Prüfungen und Validierung, Daten- und Risikomanagement, Beobachtung nach dem Inverkehrbringen, Meldung schwerwiegender Vorfälle, Dokumentations- und Aufzeichnungssysteme, Ressourcenmanagement sowie ein Rechenschaftsrahmen mit Verantwortlichkeiten der Leitung und des sonstigen Personals.
Normen können die Umsetzung freiwillig unterstützen. Rechtsgrundlage des QMS bleibt die KI-Verordnung; die Nutzung einer Norm ersetzt nicht die Prüfung, ob sämtliche anwendbaren Anforderungen abgedeckt sind.
Welche Erleichterungen und Sonderregime gibt es?
Artikel 17 Absätze 3 und 4 erlauben nur die sektorale Integration beziehungsweise die begrenzte Erfüllungsfiktion für bestimmte Finanzinstitute. Qualifizierte Kleinstunternehmen ohne Partnerunternehmen oder verbundene Unternehmen im Sinne der Empfehlung 2003/361/EG dürfen nach Artikel 63 Absatz 1 bestimmte QMS-Elemente vereinfacht erfüllen. Die Vereinfachung darf das erforderliche Schutzniveau oder die Erfüllung der Anforderungen an Hochrisiko-KI-Systeme nicht beeinträchtigen.
Artikel 63 Absatz 2 lässt die übrigen Pflichten unberührt, insbesondere die Anforderungen der Artikel 9 bis 15 sowie die Pflichten aus den Artikeln 72 und 73.
Muss das QMS extern zertifiziert werden?
Nein, eine allgemeine Pflicht zur externen QMS-Zertifizierung folgt aus Artikel 17 nicht. Ob eine notifizierte Stelle beteiligt ist, richtet sich nach dem einschlägigen Konformitätsbewertungsverfahren. Bei einer internen Kontrolle nach Anhang VI bewertet der Anbieter sein bestehendes QMS selbst; im Verfahren nach Anhang VII bewertet eine notifizierte Stelle das QMS. Die Verfahrenswahl richtet sich nach Artikel 43 und den dort genannten Voraussetzungen.
Welche Fristen und Aufbewahrungszeiten gelten?
Artikel 17 enthält keine eigenständige allgemeine Einrichtungsfrist. Die einschlägigen Pflichten gelten grundsätzlich seit dem 2. August 2026. Für Hochrisiko-KI-Systeme nach Artikel 6 Absatz 1 und die entsprechenden Pflichten gilt nach Artikel 113 der 2. August 2027.
Nach Artikel 18 Absatz 1 muss der Anbieter die QMS-Dokumentation zehn Jahre ab dem Inverkehrbringen oder der Inbetriebnahme für die nationalen zuständigen Behörden bereithalten. Für vor dem 2. August 2026 in Verkehr gebrachte oder in Betrieb genommene Hochrisiko-KI-Systeme gilt Artikel 111 Absatz 2: Sie fallen grundsätzlich erst bei einer späteren erheblichen Änderung ihrer Konzeption unter die Verordnung; besondere Übergangsregeln bleiben unberührt.
Häufige Fehlannahmen
- „Jedes KI-System braucht ein QMS.“ Nein. Artikel 17 richtet sich an Anbieter von Hochrisiko-KI-Systemen; zudem sind die Grenzen aus Artikel 2 und Artikel 6 zu prüfen.
- „Ein kleines Unternehmen darf auf das QMS verzichten.“ Nein. Qualifizierte Kleinstunternehmen dürfen nur bestimmte Elemente vereinfacht erfüllen; Schutzniveau und übrige Pflichten bleiben bestehen.
- „Verhältnismäßigkeit bedeutet ein geringeres Schutzniveau.“ Nein. Die Umsetzung darf organisationsgrößenangemessen sein, muss aber stets die für die Konformität erforderliche Strenge und den erforderlichen Schutz erreichen.
- „Das QMS muss immer extern zertifiziert werden.“ Nein. Die Beteiligung einer notifizierten Stelle hängt vom einschlägigen Konformitätsbewertungsverfahren ab.
- „Ein bestehendes Branchen-QMS erfüllt Artikel 17 automatisch.“ Nein. Eine Einbeziehung ist nur unter den Voraussetzungen des Absatzes 3 zulässig; die einschlägigen Artikel-17-Aspekte müssen abgedeckt sein.
- „Die Finanzinstitutsregel beseitigt sämtliche QMS-Anforderungen.“ Nein. Sie gilt nur bei den Voraussetzungen des Absatzes 4; die Aspekte aus Absatz 1 Buchstaben g, h und i sind von der Erfüllungsfiktion ausgenommen.
Was die Geschäftsleitung tun sollte
Praxisempfehlung: Die folgenden Schritte leiten sich aus den Anbieterpflichten und dem Rechenschaftsrahmen ab; sie begründen keine zusätzliche persönliche Leitungspflicht und keine allgemeine Zertifizierungspflicht.
- Für jedes relevante System die Hochrisikoeinstufung und die eigene Anbieterrolle einschließlich möglicher Tatbestände des Artikels 25 dokumentiert klären.
- Ein Artikel-17-QMS mit schriftlichen Regeln, klaren Verantwortlichkeiten, ausreichenden Ressourcen und belastbaren Nachweisen veranlassen.
- Risikomanagement, Datenmanagement, Prüfungen, Konformitätsbewertung, Marktbeobachtung und Vorfallmeldung in abgestimmten Prozessen verzahnen.
- Die Konformitätsbewertung vor Inverkehrbringen oder Inbetriebnahme sowie die zehnjährige Bereithaltung der QMS-Unterlagen organisatorisch absichern.
- Bestehende sektorale Systeme, Finanzinstitutsregeln oder Kleinstunternehmenserleichterungen nur nach dokumentierter Prüfung ihrer Voraussetzungen und verbleibenden Pflichten nutzen.
Für die Geschäftsleitung
Entscheidend sind drei Nachweise: Das Unternehmen hat Reichweite und Anbieterrolle korrekt bestimmt, ein inhaltlich vollständiges und angemessen umgesetztes Artikel-17-QMS eingerichtet und dessen Wirksamkeit sowie Konformitätsbezug dokumentiert. Sonderregime reduzieren diese Prüfung nicht auf ein formales Zertifikat. Die Leitung sollte Verantwortlichkeiten, Ressourcen, Verfahrensverknüpfungen, rechtzeitige Konformitätsbewertung und zehnjährige Unterlagenbereitstellung nachvollziehbar absichern.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung), amtlicher deutscher Text, insbesondere Artikel 2, 3, 6, 16 bis 18, 25, 43, 63, 111 und 113 sowie Anhänge VI und VII.
- Europäische Kommission: Standardisation of the AI Act, amtliche Einordnung der freiwilligen Unterstützung durch Normen.
