EU AI Act komprimiert · Stand 24.07.2026

Der AI Act als schneller, vollständiger Reader.

Jeder Artikel und jeder Anhang ist auf einen verständlichen Kernsatz verdichtet. Bei Bedarf öffnet sich direkt darunter die vollständige deutsche Passage der Quelle. Suche, Themenfilter und Kapitelstruktur machen aus dem Gesetz einen Arbeitsreader statt einer Textwand.

113Artikel kompakt erklärt
13Anhänge mit Originaltext
1 KlickOriginal pro Abschnitt aufklappen
5 Min.für den fachlichen Gesamtüberblick
Hinweis: Die Kurzfassungen sind bewusst paraphrasiert und dienen als schneller Arbeitsüberblick. Maßgeblich bleibt der aufgeklappte Gesetzestext bzw. die offizielle EU-Fassung.
Stichtage

Wann welche AI-Act-Pflichten scharf werden.

Die Timeline trennt harte neue Pflichten von Vorbereitungs- und Review-Terminen. Jede Karte zeigt, was ab diesem Datum zusätzlich gilt, wen es praktisch betrifft und welche Artikel im Reader darunter relevant sind.

PflichtVorbereitungReview
1. August 2024
in Kraft

Start des Rechtsakts

Der AI Act tritt formal in Kraft. Die meisten materiellen Pflichten greifen noch nicht, aber Definitionen, Rollenlogik und Übergangsplanung sind ab hier der Bezugspunkt für Compliance-Roadmaps.

  • Relevanz: Scope, Rollen, Bestandssysteme, Projektplanung.
  • Noch keine allgemeine Vollanwendung.
2. Februar 2025
Pflicht

Verbote und KI-Kompetenz gelten

Kapitel I und II werden anwendbar. Damit sind die verbotenen KI-Praktiken untersagt und Anbieter sowie Betreiber müssen angemessene KI-Kompetenz für Personen sicherstellen, die KI einsetzen oder beaufsichtigen.

  • Verboten: manipulative Schädigung, Ausnutzung vulnerabler Gruppen, Social Scoring, bestimmte biometrische/Emotionserkennungspraktiken und weitere Art.-5-Fälle.
  • Neu zu beachten: interne KI-Schulungen, Rollenwissen, Nutzungsregeln und Kontrolle auf verbotene Use Cases.
2. Mai 2025
Vorbereitung

GPAI-Verhaltenskodizes als Praxisbrücke

Bis zu diesem Punkt soll die EU die Verhaltenskodizes für Anbieter allgemeiner KI-Modelle vorantreiben. Das ist kein klassischer Unternehmensstichtag für alle Betreiber, aber wichtig für Modellanbieter und für Unternehmen, die GPAI-Modelle in Systeme integrieren.

  • Relevant für: Modellanbieter, Integratoren, Beschaffung und Governance.
  • Nutzen: Kodizes konkretisieren Dokumentation, Copyright, Risikomanagement, Incident-Prozesse und Cybersicherheit bis Normen verfügbar sind.
2. August 2025
Pflicht

GPAI, Governance, Sanktionen und Behördenstruktur greifen

Ein großer Umsetzungsblock wird anwendbar: Regeln für GPAI-Modelle, Governance-Strukturen, nationale Behörden, notifizierende Stellen, Vertraulichkeit und die meisten Sanktionsregeln. Artikel 101 zu GPAI-Geldbußen folgt erst mit der allgemeinen Anwendung.

  • GPAI: technische Dokumentation, Informationen an nachgelagerte Anbieter, Copyright-Policy und Trainingsdaten-Zusammenfassung.
  • Systemisches Risiko: Evaluierungen, Risikominderung, Incident-Meldung und Cybersicherheit für besonders leistungsfähige Modelle.
  • Mitgliedstaaten/Behörden: AI Office, Ausschuss, nationale Behörden, einheitlicher Ansprechpartner und benannte Stellen werden praktisch relevant.
  • Sanktionen: Bußgeldrahmen für verbotene Praktiken und zentrale Pflichtverstöße wird anwendbar; Art. 101 ausgenommen.
2. Februar 2026
Leitlinien

EU-Leitlinien sollen Klassifikation und Umsetzung schärfen

Die Kommission soll praktische Leitlinien bereitstellen, insbesondere zur Hochrisiko-Einstufung und zur Durchführung des AI Acts. Für Unternehmen ist das der Punkt, an dem interne Klassifikationsschemata, Vorlagen und Beschaffungschecks gegen EU-Beispiele abgeglichen werden sollten.

  • Neu zu beachten: High-Risk-Entscheidungsbaum, Annex-III-Ausnahmen, Rollenabgrenzung Anbieter/Betreiber und Transparenzfälle nachschärfen.
  • Praktischer Effekt: weniger Interpretationsspielraum, bessere Auditfähigkeit.
2. August 2026
Hauptstichtag

Transparenz, GPAI-Durchsetzung und allgemeine Anwendung

Ab hier greifen vor allem die Transparenzpflichten nach Art. 50, das Recht auf Erläuterung, Beschwerderechte, Marktüberwachung, Kommissionsdurchsetzung samt GPAI-Geldbußen und die Sandbox-Pflicht der Mitgliedstaaten. Die operative Hochrisiko-Vollanwendung ist nach der aktuellen Omnibus-Timeline gestaffelt später einzuplanen.

  • Transparenz: KI-Interaktion, Deepfakes, synthetische Inhalte, biometrische Kategorisierung und Emotionserkennung offenlegen bzw. kennzeichnen.
  • GPAI: Kommissionsdurchsetzung und Geldbußen für GPAI-Anbieter werden praktisch relevant.
  • Rechte und Aufsicht: Beschwerden, Erläuterungsrecht, Marktüberwachung und Incident-Prozesse müssen organisatorisch vorbereitet sein.
  • Innovation: mindestens eine KI-Regulierungssandbox je Mitgliedstaat muss betriebsbereit sein.
2. August 2027
Übergang

Alt-GPAI-Modelle müssen die GPAI-Pflichten erfüllen

Anbieter von GPAI-Modellen, die bereits vor dem 2. August 2025 in Verkehr gebracht wurden, müssen bis zu diesem Datum die einschlägigen Pflichten erfüllen. Das betrifft insbesondere technische Dokumentation, Informationen für nachgelagerte Anbieter, Copyright-Policy und Trainingsdaten-Zusammenfassung.

  • Relevant für: Modellanbieter, Modell-Hubs, Anbieter stark modifizierter Modelle und Bevollmächtigte.
  • Nicht verwechseln: Die produktrechtliche Hochrisiko-KI wird nach aktueller Omnibus-Timeline gesondert später relevant.
2. Dezember 2027
Hochrisiko

Anhang-III-Hochrisiko-Systeme werden operativ scharf

Nach der aktuellen Omnibus-Timeline gelten die Regeln für Systeme in bestimmten Hochrisiko-Bereichen ab diesem Datum, darunter Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, Migration, Asyl und Grenzkontrolle.

  • Anbieter: Risikomanagement, Datenqualität, technische Dokumentation, Logging, Transparenz, menschliche Aufsicht, Genauigkeit/Robustheit/Cybersecurity, QMS, Konformitätsbewertung und Registrierung.
  • Betreiber: Nutzung nach Anleitung, qualifizierte Aufsicht, Inputdatenkontrolle, Monitoring, Log-Aufbewahrung, Aussetzen bei Risiko und ggf. Grundrechte-Folgenabschätzung.
2. August 2028
Hochrisiko + Review

Produktintegrierte Hochrisiko-KI und erste Review-Runde

Nach aktueller Omnibus-Timeline gelten ab hier die Hochrisiko-Regeln für Systeme, die in Produkte integriert sind, etwa Robotik, industrielle Maschinen oder andere Anhang-I-Produktbereiche. Parallel bewertet die Kommission erstmals Hochrisiko-Bereiche, Transparenzpflichten und Governance.

  • Produkt-KI: AI-Act-Anforderungen müssen mit bestehendem Produktrecht, Dritt-Konformitätsbewertung und technischer Dokumentation zusammenspielen.
  • Review: mögliche Erweiterungen von Anhang III, zusätzliche Transparenzfälle und Anpassungen der Aufsichtsstruktur beobachten.
2. August 2029
Review

Gesamtbewertung des AI Acts

Die Kommission legt erstmals und danach alle vier Jahre einen Gesamtbericht zur Verordnung vor. Dabei geht es u. a. um Durchsetzung, Sanktionen, Standards, Ressourcen nationaler Behörden, Grundrechteauswirkungen, Energie-/Umweltfragen und möglichen Bedarf an einer EU-Agentur.

  • Neu zu beachten: keine automatische neue Pflicht, aber hohe Relevanz für künftige Verschärfungen.
  • Für Unternehmen: Compliance-Systeme auf Änderungsfähigkeit auslegen.
2. August 2030
Übergang

Bestandssysteme öffentlicher Stellen müssen nachziehen

Hochrisiko-KI-Systeme, die von Behörden genutzt werden sollen und vor dem 2. August 2026 bereits in Verkehr gebracht oder in Betrieb genommen wurden, müssen bis zu diesem Datum die Anforderungen und Pflichten des AI Acts erfüllen.

  • Relevant für: öffentliche Verwaltung und Anbieter solcher Systeme.
  • Nicht verwechseln: Für andere Alt-Hochrisiko-Systeme greift der AI Act grundsätzlich bei wesentlichen Konstruktionsänderungen.
31. Dezember 2030
Übergang

Große EU-IT-Systeme aus Anhang X müssen angepasst sein

KI-Bestandteile großer IT-Systeme im Bereich Freiheit, Sicherheit und Recht, die vor dem 2. August 2027 in Verkehr oder Betrieb waren, müssen bis Ende 2030 mit dem AI Act in Einklang gebracht werden.

  • Relevant für: Schengen-, Visa-, Grenz-, Asyl- und Strafverfolgungs-IT-Systeme aus Anhang X.
  • Praktischer Effekt: lange Übergangsfrist, aber komplexe öffentliche Systeme brauchen frühzeitige Anpassungsplanung.
Leselogik: Für operative Compliance zuerst 2. Februar 2025, 2. August 2025 und 2. August 2026 prüfen; Hochrisiko-Systeme nach Anhang III und produktintegrierte Hochrisiko-KI zusätzlich nach der aktuellen Omnibus-Timeline für 2. Dezember 2027 bzw. 2. August 2028 planen. Die Review-Termine erzeugen nicht automatisch neue Pflichten, sind aber Frühwarnpunkte für mögliche spätere Verschärfungen.
Umsetzungshilfen

Offizielle Leitfäden, Codes of Practice und Templates.

Diese Übersicht zeigt die wichtigsten EU-Dokumente, die aus dem Gesetz praktische Arbeitsschritte machen. Die Leitfäden sind meist nicht selbst Gesetz, aber sie zeigen, wie Kommission, AI Office und Marktaufsicht die Pflichten verstehen und welche Nachweise in der Praxis erwartet werden.

Art. 50 · Leitlinien

Transparenzpflichten für Anbieter und Betreiber

Der wichtigste Praxisleitfaden für Chatbots, synthetische Inhalte, Deepfakes, Emotionserkennung, biometrische Kategorisierung und KI-generierte öffentliche Texte. Er erklärt, wer informieren muss, wann die Information spätestens erfolgen muss und welche Ausnahmen greifen.

  • Hilft bei: Disclosure-Texten, Deepfake-/Content-Labels, Chatbot-Hinweisen, Rollenabgrenzung Anbieter vs. Betreiber.
  • Status: offizielle Kommissionsleitlinien; nicht bindend, aber zentral für einheitliche Anwendung.
Originalauszug anzeigen
These guidelines help providers and deployers of AI systems and competent authorities in ensuring compliance with the transparency obligations under Article 50 of the AI Act.

Article 50 of the AI Act applies from 2 August 2026. It sets out transparency obligations for providers and deployers of certain AI systems, including generative and interactive AI systems and deepfakes.

Providers must design AI systems in a way that ensures individuals are explicitly informed whenever they interact with an AI system directly and add machine-readable marks to enable the detection of AI-generated or manipulated content.
Quelle öffnen
Art. 50 · Code

Code of Practice für Transparenz von KI-generierten Inhalten

Der praktische Umsetzungsrahmen für Markierung, Erkennung und Labeling von KI-generierten oder manipulierten Inhalten. Er ist besonders relevant für generative Systeme und für Betreiber, die Deepfakes oder KI-generierte öffentliche Texte veröffentlichen.

  • Section 1: Anbieter markieren Outputs maschinenlesbar und unterstützen Erkennung.
  • Section 2: Betreiber labeln Deepfakes und bestimmte KI-generierte Texte.
  • Signatories können die Maßnahmen als anerkannten Compliance-Pfad nutzen; Nicht-Signatories müssen Gleichwertigkeit anders belegen.
Originalauszug anzeigen
The Code of Practice on transparency of AI-generated content has 2 sections:

Section 1: Providers - Rules for marking and detection of AI-generated and manipulated content

Section 2: Deployers - Rules for labelling of deepfakes and AI-generated and manipulated text

The code promotes a consistent, practical and proportionate implementation of the AI Act’s transparency obligations. It does not replace the AI Act or the Commission’s guidelines on Article 50 AI Act.
Quelle öffnen
Art. 50 · Icons

EU-Icons zur Kennzeichnung KI-generierter Inhalte

Ein freiwilliges, EU-weit entwickeltes Icon-Set für Kennzeichnung von Deepfakes und bestimmten KI-generierten Texten. Besonders nützlich für Medien, Plattformen, Kommunikation, Marketing und interne Veröffentlichungsprozesse.

  • Icons ersetzen die Pflicht nicht, helfen aber bei klarer, unterscheidbarer Kennzeichnung.
  • Varianten u. a. für vollständig KI-generiert und teilweise KI-modifiziert.
Originalauszug anzeigen
Deployers of generative AI systems can use the EU set of icons to label certain AI-generated content, in accordance with the AI Act transparency rules.

The icons are intended to help natural persons exposed to such content to recognise, in a clear and distinguishable manner, that the content has been artificially generated or manipulated.

The use of these EU icons is optional, but the labelling requirements under Article 50 AI Act are not.
Quelle öffnen
GPAI · Code

General-Purpose AI Code of Practice

Der zentrale anerkannte Praxisweg für Anbieter allgemeiner KI-Modelle. Er besteht aus drei Kapiteln: Transparency, Copyright sowie Safety & Security. Für Unternehmen, die GPAI-Modelle nutzen oder integrieren, ist er auch ein Beschaffungs- und Anbieterprüfstandard.

  • Transparency/Copyright helfen bei Art. 53.
  • Safety & Security betrifft vor allem Modelle mit systemischem Risiko nach Art. 55.
  • Von Kommission und AI Board als angemessenes freiwilliges Tool bestätigt.
Originalauszug anzeigen
The code of practice helps industry comply with the AI Act legal obligations on safety, transparency and copyright of general-purpose AI models.

The Commission and the AI Board have confirmed that the code is an adequate voluntary tool for providers of GPAI models to demonstrate compliance with the AI Act.

The Chapters on Transparency and Copyright offer all providers of general-purpose AI models a way to demonstrate compliance with their obligations under Article 53 AI Act.
Quelle öffnen
GPAI · Leitlinien

Leitlinien zum Scope der GPAI-Pflichten

Klärt, wer überhaupt Anbieter eines GPAI-Modells ist, wann ein Modell als „general-purpose“ gilt, wie wesentliche Änderungen zu behandeln sind und wann Open-Source-Ausnahmen greifen. Praktisch wichtig für Fine-Tuning, Modell-Hubs, Integratoren und Anbieterketten.

  • GPAI-Pflichten gelten für neue Modelle ab 2. August 2025.
  • Kommissionsdurchsetzung samt Geldbußen ab 2. August 2026.
  • Altmodelle vor 2. August 2025 müssen bis 2. August 2027 nachziehen.
Originalauszug anzeigen
The guidelines focus on the scope of the obligations for providers of general-purpose AI models laid down in the AI Act, in light of their imminent entry into application on 2 August 2025.

The guidelines introduce straightforward technical criteria, for instance for when an AI model is considered "general-purpose."

They clarify that only those making significant modifications to AI models need to comply with the obligations for providers of GPAI models, not those making minor changes.
Quelle öffnen
GPAI · Template

Template für öffentliche Trainingsdaten-Zusammenfassung

Das Template macht Art. 53 Abs. 1 lit. d praktisch: GPAI-Anbieter müssen eine ausreichend detaillierte öffentliche Zusammenfassung der Trainingsinhalte bereitstellen. Für Nachfrager ist es ein guter Mindeststandard, um Datenherkunft und Copyright-Risiken zu prüfen.

  • Minimalbaseline für öffentlich verfügbare Information.
  • Bezieht Quellen, große Datensätze, Top-Domains und Datenverarbeitung ein.
Originalauszug anzeigen
The Template annexed to this Explanatory Notice aims to provide a common minimal baseline for the information to be made publicly available in the Summary of Training Content for general-purpose AI models.
Quelle öffnen
Scope · Leitlinien

Leitlinien zur Definition eines KI-Systems

Der erste Screening-Schritt: Fällt eine Software überhaupt unter die AI-Act-Definition eines KI-Systems? Der Leitfaden hilft, klassische Software, einfache Automatisierung und echte KI-Systeme sauber zu trennen.

  • Relevant für Inventarisierung, Procurement, Tool-Freigaben und Risikoklassifikation.
  • Nicht bindend, aber offizielles Verständnis der Kommission.
Originalauszug anzeigen
The guidelines on the AI system definition explain the practical application of the legal concept, as anchored in the AI Act.

By issuing guidelines on the AI system definition, the Commission aims to assist providers and other relevant persons in determining whether a software system constitutes an AI system to facilitate the effective application of the rules.

The guidelines on the AI system definition are not binding.
Quelle öffnen
Verbote · Leitlinien

Leitlinien zu verbotenen KI-Praktiken

Der Leitfaden übersetzt Art. 5 in konkrete Beispiele und Grenzfälle. Besonders wichtig für Use-Case-Freigaben, HR/Bildung, biometrische Anwendungen, Scoring, Manipulation, Strafverfolgung und emotionserkennende Systeme.

  • Hilft beim „No-Go“-Screening ab 2. Februar 2025.
  • Erklärt die acht verbotenen Praktiken und praktische Ausnahmen.
Originalauszug anzeigen
These guidelines provide an overview of AI practices that are deemed unacceptable due to their potential risks to European values and fundamental rights.

The guidelines specifically address practices such as harmful manipulation, social scoring, and real-time remote biometric identification, among others.

While they offer valuable insights into the Commission's interpretation of the prohibitions, they are non-binding, with authoritative interpretations reserved for the Court of Justice of the European Union (CJEU).
Quelle öffnen
High-Risk · Draft

Draft-Leitlinien zur Hochrisiko-Klassifikation

Hilft bei der schwierigsten operativen Frage: Ist ein System Hochrisiko oder nicht? Die Leitlinien enthalten Beispiele zu Anhang III und erklären, wie Anbieter und Betreiber die Einstufung vornehmen sollen. Stand: Draft mit laufender Konsultation; finaler Text kann noch abweichen.

  • Wichtig für AI-Inventar, Annex-III-Mapping und Ausnahmen nach Art. 6 Abs. 3.
  • Enthält bereits die neue Omnibus-Timeline: bestimmte Annex-III-Bereiche ab 2. Dezember 2027, produktintegrierte Systeme ab 2. August 2028.
Originalauszug anzeigen
The guidelines clarify the classification of AI systems as high-risk under the AI Act and a list of practical examples to assist in the classification.

Though not legally binding, they reflect the Commission's interpretation and will guide enforcement.

Rules for systems used in certain high-risk areas — including biometrics, critical infrastructure, education, employment, migration, asylum and border control — apply from 2 December 2027. For systems integrated into products such as robotics and industrial machinery, the rules apply from 2 August 2028.
Quelle öffnen
Freiwillig · AI Pact

AI Pact als Vorbereitungsrahmen

Kein Ersatz für Compliance, aber ein offizieller freiwilliger Rahmen, um frühzeitig Governance, High-Risk-Mapping und KI-Kompetenz aufzubauen. Nützlich als pragmatische Checkliste für Organisationen, die vor den Stichtagen belastbare Prozesse etablieren wollen.

  • Kern: AI-Governance-Strategie, Mapping potenzieller Hochrisiko-Systeme, AI Awareness/Literacy.
  • Zusatz: Human Oversight, Risikominderung, Transparenz bei KI-generierten Inhalten.
Originalauszug anzeigen
The AI Pact encourages and supports organisations to plan ahead for the implementation of AI Act measures.

The EU AI Pact voluntary pledges call on participating companies to commit to at least three core actions:

- Adopting an AI governance strategy to foster the uptake of AI in the organisation and work towards future compliance with the AI Act
- Identifying and mapping AI systems likely to be categorised as high-risk under the AI Act
- Promoting AI awareness and literacy among staff, ensuring ethical and responsible AI development

These pledges are not legally binding and do not impose any legal obligations on participants.
Quelle öffnen
Praxislesart: Für normale Unternehmen sind zuerst KI-Systemdefinition, Verbotsscreening, AI-Literacy, Transparenz nach Art. 50 und High-Risk-Mapping entscheidend. Für Modellanbieter kommen GPAI-Code, GPAI-Scope-Guidelines und Trainingsdaten-Template dazu. Freiwillige Codes reduzieren Nachweisaufwand, ersetzen aber nie den AI Act selbst.
126 Abschnitte sichtbar
Kapitel I

Allgemeine Bestimmungen

Artikel 1-4 · 4 Abschnitt(e)

Art. 1

Gegenstand

Legt den Rahmen des AI Acts fest: einheitliche EU-Regeln für KI, Schutz von Gesundheit, Sicherheit, Grundrechten, Demokratie, Rechtsstaat und Umwelt sowie Innovationsförderung. Praktisch ordnet der Artikel die Instrumente des Gesetzes: Verbote, Hochrisiko-Anforderungen, Transparenzpflichten, Regeln für GPAI-Modelle, Marktüberwachung und Innovationsmaßnahmen.

Originaltext anzeigen
1. Ziel dieser Verordnung ist es, das Funktionieren des Binnenmarkts zu verbessern und die Einführung menschenbezogener und vertrauenswürdiger künstlicher Intelligenz (KI) zu fördern und gleichzeitig ein hohes Niveau des Schutzes der Gesundheit, der Sicherheit, der in der Charta verankerten Grundrechte, einschließlich der Demokratie, der Rechtsstaatlichkeit und des Umweltschutzes, vor den schädlichen Auswirkungen von KI-Systemen in der Union zu gewährleisten und Innovationen zu unterstützen.
2. Diese Verordnung legt fest:
(a) harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Nutzung von KI-Systemen in der Union;
(b) Verbot bestimmter AI-Praktiken;
(c) spezifische Anforderungen für AI-Systeme mit hohem Risiko und Verpflichtungen für die Akteuren solcher Systeme;
(d) harmonisierte Transparenzvorschriften für bestimmte KI-Systeme;
(e) harmonisierte Vorschriften für das Inverkehrbringen von KI-Modellen für allgemeine Zwecke;
(f) Regeln für die Marktüberwachung, Marktaufsicht, Governance und Durchsetzung;
(g) Maßnahmen zur Förderung der Innovation, mit besonderem Schwerpunkt auf KMU, einschließlich Neugründungen.
Quelle öffnen
Art. 2

Anwendungsbereich

Bestimmt den Anwendungsbereich: Erfasst werden Anbieter, Betreiber, Importeure, Händler, Produkthersteller, Bevollmächtigte und betroffene Personen, sobald KI-Systeme oder deren Outputs in der EU relevant werden. Ausgenommen sind u. a. nationale Sicherheit, militärische/verteidigungspolitische Zwecke, bestimmte Forschung und Entwicklung vor Inverkehrbringen, reine Privatnutzung sowie Open-Source-Bestandteile außerhalb bestimmter Risikofälle.

Originaltext anzeigen
1. Diese Verordnung gilt für:
(a) Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle für allgemeine Zwecke in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen oder ansässig sind;
(b) Betreiber von KI-Systemen, die ihren Niederlassungsort in der Union haben oder dort ansässig sind;
(c) Anbieter und Betreiber von KI-Systemen, die ihren Sitz in einem Drittland haben oder dort ansässig sind, wenn der von dem KI-System erzeugte Output in der Union verwendet wird;
(d) Importeure und Vertreiber von KI-Systemen;
(e) Produkthersteller, die ein KI-System zusammen mit ihrem Produkt und unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringen oder in Betrieb nehmen;
(f) bevollmächtigte Vertreter von Dienstleistungserbringern, die nicht in der Union niedergelassen sind;
(g) betroffene Personen, die sich in der Union befinden.
und
Erwägungsgrund 22
2. Für AI-Systeme, die gemäß
Artikel 6
Absatz 1 als AI-Systeme mit hohem Risiko eingestuft sind und sich auf Produkte beziehen, die unter die in
Anhang I
Abschnitt B aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, gelten nur
Artikel 6
Absatz 1, die
Artikel 102
bis
109
und
Artikel 112
.
Artikel 57
gilt nur insoweit, als die Anforderungen an AI-Systeme mit hohem Risiko im Rahmen dieser Verordnung in die betreffenden Harmonisierungsrechtsvorschriften der Union aufgenommen worden sind.
3. Diese Verordnung gilt nicht für Bereiche, die nicht in den Anwendungsbereich des Unionsrechts fallen, und berührt in keinem Fall die Zuständigkeiten der Mitgliedstaaten im Bereich der nationalen Sicherheit, unabhängig von der Art der Stelle, die von den Mitgliedstaaten mit der Wahrnehmung von Aufgaben im Zusammenhang mit diesen Zuständigkeiten betraut ist. Diese Verordnung gilt nicht für KI-Systeme, wenn und soweit sie ausschließlich für militärische, verteidigungspolitische oder die nationale Sicherheit betreffende Zwecke in Verkehr gebracht, in Betrieb genommen oder mit oder ohne Änderung verwendet werden, unabhängig von der Art der Stelle, die diese Tätigkeiten ausübt. Diese Verordnung gilt nicht für KI-Systeme, die nicht in der Union in Verkehr gebracht oder in Betrieb genommen werden, wenn der Output in der Union ausschließlich für militärische Zwecke, Verteidigungszwecke oder Zwecke der nationalen Sicherheit verwendet wird, unabhängig von der Art der Einrichtung, die diese Tätigkeiten ausübt.
4. Diese Verordnung gilt weder für Behörden in einem Drittland noch für internationale Organisationen, die gemäß Absatz 1 in den Anwendungsbereich dieser Verordnung fallen, wenn diese Behörden oder Organisationen KI-Systeme im Rahmen der internationalen Zusammenarbeit oder von Abkommen über die Strafverfolgung und die justizielle Zusammenarbeit mit der Union oder mit einem oder mehreren Mitgliedstaaten verwenden, sofern ein solches Drittland oder eine solche internationale Organisation angemessene Garantien in Bezug auf den Schutz der Grundrechte und -freiheiten des Einzelnen bietet.
5. Diese Verordnung berührt nicht die Anwendung der in Kapitel II der Verordnung (EU) 2022/2065 enthaltenen Bestimmungen über die Haftung von Vermittlungsdienstleistern.
6. Diese Verordnung gilt nicht für KI-Systeme oder KI-Modelle, einschließlich ihrer Ergebnisse, die speziell für den alleinigen Zweck der wissenschaftlichen Forschung und Entwicklung entwickelt und in Betrieb genommen werden.
7. Das Unionsrecht zum Schutz personenbezogener Daten, der Privatsphäre und der Vertraulichkeit der Kommunikation gilt für personenbezogene Daten, die im Zusammenhang mit den in dieser Verordnung festgelegten Rechten und Pflichten verarbeitet werden. Diese Verordnung berührt weder die Verordnung (EU) 2016/679 oder (EU) 2018/1725 noch die Richtlinie 2002/58/EG oder (EU) 2016/680, unbeschadet des
Artikels 10
Absatz 5 und des
Artikels 59
der vorliegenden Verordnung.
8. Diese Verordnung gilt nicht für Forschungs-, Test- oder Entwicklungstätigkeiten in Bezug auf KI-Systeme oder KI-Modelle, bevor diese in Verkehr gebracht oder in Betrieb genommen werden. Solche Tätigkeiten müssen im Einklang mit dem geltenden Unionsrecht durchgeführt werden. Tests unter realen Bedingungen fallen nicht unter diesen Ausschluss.
9. Diese Verordnung berührt nicht die in anderen Rechtsakten der Union zum Verbraucherschutz und zur Produktsicherheit festgelegten Vorschriften.
10. Diese Verordnung gilt nicht für Verpflichtungen von Betreibern, bei denen es sich um natürliche Personen handelt, die KI-Systeme im Rahmen einer rein persönlichen, nicht-beruflichen Tätigkeit nutzen.
11. Diese Verordnung hindert die Union oder die Mitgliedstaaten nicht daran, Rechts- oder Verwaltungsvorschriften beizubehalten oder einzuführen, die für die Arbeitnehmer hinsichtlich des Schutzes ihrer Rechte beim Einsatz von KI-Systemen durch die Arbeitgeber günstiger sind, oder die Anwendung von Tarifverträgen, die für die Arbeitnehmer günstiger sind, zu fördern oder zuzulassen.
12. Diese Verordnung gilt nicht für KI-Systeme, die unter freien und quelloffenen Lizenzen veröffentlicht werden, es sei denn, sie werden als KI-Systeme mit hohem Risiko oder als KI-Systeme, die unter
Artikel 5
oder
50
fallen, in Verkehr gebracht oder in Betrieb genommen.
Quelle öffnen
Art. 3

Begriffsbestimmungen

Definiert die Arbeitsbegriffe des gesamten Gesetzes, etwa KI-System, Anbieter, Betreiber, Inverkehrbringen, Inbetriebnahme, Zweckbestimmung, Hochrisiko-KI, biometrische Daten, Emotionserkennung, GPAI-Modell, systemisches Risiko und schwerwiegendes Vorkommnis. Diese Definitionen entscheiden praktisch darüber, welche Rolle ein Unternehmen hat und welche Pflichten greifen.

Originaltext anzeigen
Für die Zwecke dieser Verordnung gelten die folgenden Definitionen:
(1) "KI-System": ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie betrieben werden kann und nach seiner Einführung Anpassungsfähigkeit zeigt, und das für explizite oder implizite Ziele aus den Eingaben, die es erhält, ableitet, wie es Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen generieren kann, die physische oder virtuelle Umgebungen beeinflussen können;
Verwandte:
Erwägungsgrund 12
(2) "Risiko" ist die Kombination aus der Wahrscheinlichkeit des Eintritts eines Schadens und der Schwere dieses Schadens;
(3) "Anbieter" ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell für allgemeine Zwecke entwickelt oder ein KI-System oder ein KI-Modell für allgemeine Zwecke entwickeln lässt und es unter ihrem eigenen Namen oder ihrer eigenen Marke in Verkehr bringt oder in Betrieb nimmt, unabhängig davon, ob dies entgeltlich oder unentgeltlich geschieht;
(4) "Betreiber": eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System unter ihrer Aufsicht einsetzt, es sei denn, das KI-System wird im Rahmen einer persönlichen, nicht beruflichen Tätigkeit verwendet;
(5) "Bevollmächtigter": eine natürliche oder juristische Person, die in der Union ansässig oder niedergelassen ist und von einem Anbieter eines KI-Systems oder eines KI-Modells für allgemeine Zwecke ein schriftliches Mandat erhalten und angenommen hat, in seinem Namen die in dieser Verordnung festgelegten Verpflichtungen und Verfahren zu erfüllen und durchzuführen;
(6) "Importeur": eine in der Union ansässige oder niedergelassene natürliche oder juristische Person, die ein KI-System in Verkehr bringt, das den Namen oder die Marke einer in einem Drittland ansässigen natürlichen oder juristischen Person trägt;
(7) "Händler": eine natürliche oder juristische Person in der Lieferkette, die ein KI-System auf dem Unionsmarkt bereitstellt und nicht der Anbieter oder Einführer ist;
(8) "Akteur": ein Anbieter, Produkthersteller, Verteiler, Bevollmächtigter, Importeur oder Händler;
(9) "Inverkehrbringen": die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells für allgemeine Zwecke auf dem Unionsmarkt;
(10) "Bereitstellung auf dem Markt": die entgeltliche oder unentgeltliche Abgabe eines KI-Systems oder eines KI-Modells für allgemeine Zwecke zum Vertrieb oder zur Verwendung auf dem Unionsmarkt im Rahmen einer gewerblichen Tätigkeit;
(11) "Inbetriebnahme": die Lieferung eines KI-Systems zur erstmaligen Verwendung direkt an den Einsatzbetrieb oder zur eigenen Verwendung in der Union für den vorgesehenen Zweck;
(12) "Verwendungszweck": die Verwendung, für die ein KI-System vom Anbieter vorgesehen ist, einschließlich des spezifischen Kontexts und der Verwendungsbedingungen, wie sie in den Informationen des Anbieters in der Gebrauchsanweisung, im Werbe- oder Verkaufsmaterial und in den Erklärungen sowie in den technischen Unterlagen angegeben sind;
(13) "vernünftigerweise vorhersehbarer Missbrauch": die Nutzung eines KI-Systems in einer Weise, die nicht mit dem beabsichtigten Zweck übereinstimmt, die sich aber aus vernünftigerweise vorhersehbarem menschlichen Verhalten oder der Interaktion mit anderen Systemen, einschließlich anderer KI-Systeme, ergeben kann;
(14) "Sicherheitsbauteil" ist ein Bauteil eines Produkts oder eines KI-Systems, das eine Sicherheitsfunktion für dieses Produkt oder KI-System erfüllt oder dessen Ausfall oder Fehlfunktion die Gesundheit und Sicherheit von Personen oder Sachen gefährdet;
(15) "Gebrauchsanweisung": die vom Anbieter bereitgestellten Informationen, die den Anwender insbesondere über den beabsichtigten Zweck und die ordnungsgemäße Verwendung eines KI-Systems informieren;
(16) "Rückruf eines KI-Systems": jede Maßnahme, die darauf abzielt, die Rückgabe an den Anbieter zu erreichen oder ein KI-System, das den Einsatzkräften zur Verfügung gestellt wird, außer Betrieb zu nehmen oder seine Nutzung zu unterbinden;
(17) "Rücknahme eines KI-Systems": jede Maßnahme, mit der verhindert werden soll, dass ein KI-System in der Lieferkette auf dem Markt bereitgestellt wird;
(18) "Leistung eines KI-Systems": die Fähigkeit eines KI-Systems, seinen beabsichtigten Zweck zu erfüllen;
(19) "notifizierende Behörde": die nationale Behörde, die für die Einrichtung und Durchführung der erforderlichen Verfahren für die Begutachtung, Benennung und Notifizierung von Konformitätsbewertungsstellen und für deren Überwachung zuständig ist;
(20) "Konformitätsbewertung": das Verfahren, mit dem nachgewiesen wird, dass die in
Kapitel III
Abschnitt 2 festgelegten Anforderungen an ein AI-System mit hohem Risiko erfüllt sind;
(21) "Konformitätsbewertungsstelle": eine Stelle, die als unabhängiger Dritter Konformitätsbewertungstätigkeiten, einschließlich Prüfung, Zertifizierung und Inspektion, durchführt;
(22) "notifizierte Stelle" eine Konformitätsbewertungsstelle, die im Einklang mit dieser Verordnung und anderen einschlägigen Harmonisierungsrechtsvorschriften der Union notifiziert wurde;
(23) "wesentliche Änderung": eine Änderung an einem AI-System nach seinem Inverkehrbringen oder seiner Inbetriebnahme, die bei der ursprünglichen Konformitätsbewertung durch den Anbieter nicht vorgesehen oder geplant war und durch die die Konformität des AI-Systems mit den in
Kapitel III
Abschnitt 2 festgelegten Anforderungen beeinträchtigt wird oder die zu einer Änderung des Zwecks führt, für den das AI-System bewertet wurde;
siehe:
Erwägungsgrund 128
(24) "CE-Kennzeichnung": eine Kennzeichnung, mit der ein Anbieter angibt, dass ein KI-System den Anforderungen von
Kapitel III
Abschnitt 2 und anderen anwendbaren Harmonisierungsrechtsvorschriften der Union, die ihre Anbringung vorsehen, entspricht;
(25) "System zur Überwachung nach dem Inverkehrbringen": alle Tätigkeiten, die von den Anbietern von KI-Systemen durchgeführt werden, um Erfahrungen mit der Verwendung von KI-Systemen, die sie in Verkehr bringen oder in Betrieb nehmen, zu sammeln und zu überprüfen, damit festgestellt werden kann, ob es notwendig ist, unverzüglich die erforderlichen Korrektur- oder Präventivmaßnahmen durchzuführen;
(26) "Marktüberwachungsbehörde": die nationale Behörde, die die Tätigkeiten durchführt und die Maßnahmen gemäß der Verordnung (EU) 2019/1020 trifft;
(27) "harmonisierte Norm": eine harmonisierte Norm im Sinne von Artikel 2 Absatz 1 Buchstabe c der Verordnung (EU) Nr. 1025/2012;
(28) "gemeinsame Spezifikation": eine Reihe technischer Spezifikationen im Sinne von Artikel 2 Nummer 4 der Verordnung (EU) Nr. 1025/2012, die Mittel zur Erfüllung bestimmter, in dieser Verordnung festgelegter Anforderungen bereitstellen;
(29) "Trainingsdaten": Daten, die zum Training eines KI-Systems durch Anpassung seiner lernfähigen Parameter verwendet werden;
(30) "Validierungsdaten": Daten, die zur Bewertung des trainierten KI-Systems und zur Abstimmung seiner nicht lernbaren Parameter und seines Lernprozesses verwendet werden, um unter anderem eine Unter- oder Überanpassung zu verhindern;
(31) "Validierungsdatensatz": ein separater Datensatz oder ein Teil des Trainingsdatensatzes, entweder als feste oder variable Aufteilung;
(32) "Prüfdaten": Daten, die für eine unabhängige Bewertung des KI-Systems verwendet werden, um die erwartete Leistung dieses Systems vor seinem Inverkehrbringen oder seiner Inbetriebnahme zu bestätigen;
(33) "Eingabedaten": Daten, die einem KI-System zur Verfügung gestellt oder von diesem direkt erfasst werden und auf deren Grundlage das System eine Ausgabe erzeugt;
(34) "biometrische Daten" personenbezogene Daten, die sich aus einer spezifischen technischen Verarbeitung ergeben und die sich auf physische, physiologische oder verhaltensbezogene Merkmale einer natürlichen Person beziehen, wie z. B. Gesichtsbilder oder daktyloskopische Daten;
verwandt:
Erwägungsgrund 14
(35) "biometrische Identifizierung": die automatisierte Erkennung physischer, physiologischer, verhaltensbezogener oder psychologischer menschlicher Merkmale zum Zwecke der Feststellung der Identität einer natürlichen Person durch Vergleich biometrischer Daten dieser Person mit biometrischen Daten von Personen, die in einer Datenbank gespeichert sind;
verwandt:
Erwägungsgrund 15
(36) "biometrische Überprüfung": die automatisierte Eins-zu-eins-Überprüfung, einschließlich Authentifizierung, der Identität natürlicher Personen durch Vergleich ihrer biometrischen Daten mit zuvor bereitgestellten biometrischen Daten;
verwandt:
Erwägungsgrund 15
(37) "besondere Kategorien personenbezogener Daten" sind die Kategorien personenbezogener Daten gemäß Artikel 9 Absatz 1 der Verordnung (EU) 2016/679, Artikel 10 der Richtlinie (EU) 2016/680 und Artikel 10 Absatz 1 der Verordnung (EU) 2018/1725;
(38) "sensible operative Daten": operative Daten im Zusammenhang mit Tätigkeiten zur Verhütung, Aufdeckung, Untersuchung oder Verfolgung von Straftaten, deren Offenlegung die Integrität von Strafverfahren gefährden könnte;
(39) "System zur Erkennung von Emotionen": ein KI-System, das dazu dient, Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten zu erkennen oder abzuleiten;
verwandt:
Erwägungsgrund 18
(40) "biometrisches Kategorisierungssystem" ein KI-System, das dazu dient, natürliche Personen auf der Grundlage ihrer biometrischen Daten bestimmten Kategorien zuzuordnen, es sei denn, es handelt sich um eine Zusatzfunktion zu einem anderen kommerziellen Dienst, die aus objektiven technischen Gründen unbedingt erforderlich ist;
Bezug:
Erwägungsgrund 16
(41. "Biometrisches Fernidentifizierungssystem": ein KI-System zur Identifizierung natürlicher Personen ohne deren aktives Zutun, in der Regel aus der Ferne durch den Vergleich der biometrischen Daten einer Person mit den in einer Referenzdatenbank enthaltenen biometrischen Daten;
verwandt:
Erwägungsgrund 17
(42) "biometrisches Fernidentifizierungssystem in Echtzeit": ein biometrisches Fernidentifizierungssystem, bei dem die Erfassung der biometrischen Daten, der Vergleich und die Identifizierung ohne nennenswerte Verzögerung erfolgen und das nicht nur eine sofortige Identifizierung, sondern auch begrenzte kurze Verzögerungen zur Vermeidung von Umgehungen vorsieht;
verwandt:
Erwägungsgrund 17
(43) "post-biometrisches Fernidentifizierungssystem": ein biometrisches Fernidentifizierungssystem, das kein biometrisches Echtzeit-Fernidentifizierungssystem ist;
verwandt:
Erwägungsgrund 17
(44) "öffentlich zugänglicher Raum": jeder physische Ort in öffentlichem oder privatem Besitz, der für eine unbestimmte Anzahl natürlicher Personen zugänglich ist, unabhängig davon, ob bestimmte Zugangsbedingungen gelten, und unabhängig von möglichen Kapazitätsbeschränkungen;
verwandt:
Erwägungsgrund 19
(45) "Strafverfolgungsbehörde"::
(a) jede Behörde, die für die Verhütung, Ermittlung, Feststellung oder Verfolgung von Straftaten oder die Vollstreckung strafrechtlicher Sanktionen, einschließlich des Schutzes vor und der Abwehr von Bedrohungen der öffentlichen Sicherheit, zuständig ist, oder
(b) jede andere Stelle oder Einrichtung, die nach dem Recht der Mitgliedstaaten mit der Ausübung hoheitlicher Befugnisse zum Zwecke der Verhütung, Ermittlung, Feststellung oder Verfolgung von Straftaten oder der Vollstreckung strafrechtlicher Sanktionen, einschließlich des Schutzes vor und der Abwehr von Bedrohungen der öffentlichen Sicherheit, betraut ist;
(46) "Strafverfolgung": Tätigkeiten, die von den Strafverfolgungsbehörden oder in deren Auftrag zur Verhütung, Ermittlung, Feststellung oder Verfolgung von Straftaten oder zur Vollstreckung strafrechtlicher Sanktionen, einschließlich des Schutzes vor und der Abwehr von Gefahren für die öffentliche Sicherheit, durchgeführt werden;
(47) "KI-Büro": die in der Entscheidung der Kommission vom 24. Januar 2024 vorgesehene Funktion der Kommission, zur Umsetzung, Überwachung und Beaufsichtigung von KI-Systemen und KI-Modellen für allgemeine Zwecke sowie zur KI-Governance beizutragen; Verweise in dieser Verordnung auf das KI-Büro gelten als Verweise auf die Kommission;
(48) "zuständige nationale Behörde": eine meldende Behörde oder eine Marktüberwachungsbehörde; in Bezug auf KI-Systeme, die von Organen, Agenturen, Ämtern und Einrichtungen der Union in Betrieb genommen oder genutzt werden, sind Bezugnahmen auf die zuständigen nationalen Behörden oder Marktüberwachungsbehörden in dieser Verordnung als Bezugnahmen auf den Europäischen Datenschutzbeauftragten zu verstehen;
(49) "schwerwiegender Vorfall": ein Vorfall oder eine Störung eines KI-Systems, der/die direkt oder indirekt zu einem der folgenden Punkte führt:
(a) den Tod einer Person oder eine schwere Schädigung der Gesundheit einer Person;
(b) eine schwerwiegende und irreversible Störung der Verwaltung oder des Betriebs kritischer Infrastrukturen.
(c) die Verletzung von Verpflichtungen aus dem Unionsrecht, die dem Schutz der Grundrechte dienen;
(d) schwere Schädigung von Eigentum oder der Umwelt;
(50) "personenbezogene Daten" sind personenbezogene Daten im Sinne von Artikel 4 Nummer 1 der Verordnung (EU) 2016/679;
(51) "nicht personenbezogene Daten" sind Daten, die keine personenbezogenen Daten im Sinne von Artikel 4 Nummer 1 der Verordnung (EU) 2016/679 sind;
(52) "Profiling" ist Profiling im Sinne von Artikel 4 Nummer 4 der Verordnung (EU) 2016/679;
(53) "Plan für die Durchführung von Prüfungen unter realen Bedingungen": ein Dokument, das die Ziele, die Methodik, den geografischen, bevölkerungsbezogenen und zeitlichen Umfang, die Überwachung, die Organisation und die Durchführung von Prüfungen unter realen Bedingungen beschreibt;
(54) "Sandkastenplan": ein zwischen dem teilnehmenden Anbieter und der zuständigen Behörde vereinbartes Dokument, das die Ziele, Bedingungen, den Zeitrahmen, die Methodik und die Anforderungen für die im Rahmen des Sandkastens durchgeführten Tätigkeiten beschreibt;
(55) "KI-Regulierungssandkasten": ein von einer zuständigen Behörde eingerichteter kontrollierter Rahmen, der Anbietern oder potenziellen Anbietern von KI-Systemen die Möglichkeit bietet, ein innovatives KI-System nach einem Sandkastenplan für eine begrenzte Zeit unter behördlicher Aufsicht zu entwickeln, zu trainieren, zu validieren und zu testen, gegebenenfalls unter realen Bedingungen;
(56) "KI-Kompetenz": Fähigkeiten, Kenntnisse und Verständnis, die es Anbietern, Anwendern und Betroffenen ermöglichen, KI-Systeme unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung in Kenntnis der Sachlage einzusetzen und sich über die Chancen und Risiken von KI und mögliche Schäden, die sie verursachen kann, bewusst zu werden;
(57) "Prüfung unter realen Bedingungen": die zeitlich begrenzte Prüfung eines KI-Systems für den vorgesehenen Zweck unter realen Bedingungen außerhalb eines Labors oder einer anderweitig simulierten Umgebung, um zuverlässige und belastbare Daten zu sammeln und die Konformität des KI-Systems mit den Anforderungen dieser Verordnung zu bewerten und zu überprüfen; sie gilt nicht als Inverkehrbringen oder Inbetriebnahme des KI-Systems im Sinne dieser Verordnung, sofern alle in
Artikel 57
oder
60
festgelegten Bedingungen erfüllt sind;
(58) "Versuchsperson" bezeichnet für die Zwecke von Praxistests eine natürliche Person, die an den Tests unter realen Bedingungen teilnimmt;
(59) "Einwilligung nach Aufklärung": die frei gegebene, spezifische, unmissverständliche und freiwillige Bereitschaft einer Versuchsperson, an einem bestimmten Versuch unter realen Bedingungen teilzunehmen, nachdem sie über alle Aspekte des Versuchs, die für ihre Entscheidung zur Teilnahme relevant sind, informiert wurde;
(60) "Deep Fake": KI-generierte oder manipulierte Bild-, Audio- oder Videoinhalte, die existierenden Personen, Objekten, Orten, Einrichtungen oder Ereignissen ähneln und einer Person fälschlicherweise als authentisch oder wahrheitsgemäß erscheinen würden;
(61) "weitverbreiteter Verstoß": jede Handlung oder Unterlassung, die gegen das Unionsrecht zum Schutz der Interessen Einzelner verstößt und die:
(a) die kollektiven Interessen von Einzelpersonen, die in mindestens zwei anderen Mitgliedstaaten als dem Mitgliedstaat, in dem sie wohnen, ansässig sind, geschädigt hat oder zu schädigen droht:
(i) die Handlung oder Unterlassung ihren Ursprung hat oder stattgefunden hat;
(ii) der betreffende Dienstleistungserbringer oder gegebenenfalls sein bevollmächtigter Vertreter ansässig oder niedergelassen ist; oder
(iii) der Einsatzbetrieb wird festgestellt, wenn der Verstoß vom Einsatzbetrieb begangen wird;
(b) die kollektiven Interessen von Einzelpersonen geschädigt hat, schädigt oder schädigen kann und gemeinsame Merkmale aufweist, einschließlich derselben rechtswidrigen Praxis oder desselben verletzten Interesses, und die von demselben Akteur in mindestens drei Mitgliedstaaten gleichzeitig begangen wird;
(62) "kritische Infrastrukturen": kritische Infrastrukturen gemäß der Definition in Artikel 2 Nummer 4 der Richtlinie (EU) 2022/2557;
(63) "universell einsetzbares KI-Modell": ein KI-Modell, auch wenn es mit einer großen Datenmenge unter Verwendung von Selbstüberwachung in großem Maßstab trainiert wurde, das eine erhebliche Allgemeinheit aufweist und in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben kompetent auszuführen, unabhängig davon, wie das Modell auf den Markt gebracht wird, und das in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann, mit Ausnahme von KI-Modellen, die für Forschungs-, Entwicklungs- oder Prototyping-Aktivitäten verwendet werden, bevor sie auf den Markt gebracht werden;
siehe: Erwägungsgründe
97
,
98
und
99
(64) "hochwirksame Fähigkeiten": Fähigkeiten, die mit den fortschrittlichsten KI-Modellen für allgemeine Zwecke übereinstimmen oder diese übertreffen;
verwandt:
Erwägungsgrund 110
(65) "Systemrisiko": ein Risiko, das spezifisch für die hochwirksamen Fähigkeiten von KI-Modellen für allgemeine Zwecke ist und aufgrund ihrer Reichweite oder aufgrund tatsächlicher oder vernünftigerweise vorhersehbarer negativer Auswirkungen auf die öffentliche Gesundheit, die öffentliche Sicherheit, die Grundrechte oder die Gesellschaft als Ganzes erhebliche Auswirkungen auf den Unionsmarkt hat und sich in großem Umfang über die gesamte Wertschöpfungskette ausbreiten kann
:
Erwägungsgrund 110
(66. "KI-System für allgemeine Zwecke": ein KI-System, das auf einem KI-Modell für allgemeine Zwecke basiert und das für eine Vielzahl von Zwecken eingesetzt werden kann, sowohl für den direkten Gebrauch als auch für die Integration in andere KI-Systeme;
verwandt:
Erwägungsgrund 100
(67) "Gleitkommaoperation": jede mathematische Operation oder Zuweisung, die Gleitkommazahlen betrifft, die eine Teilmenge der reellen Zahlen sind, die auf Computern typischerweise durch eine ganze Zahl mit fester Genauigkeit, skaliert durch einen ganzzahligen Exponenten mit fester Basis, dargestellt werden
:
Erwägungsgrund 110
(68) "nachgeschalteter Anbieter": ein Anbieter eines KI-Systems, einschließlich eines KI-Systems für allgemeine Zwecke, in das ein KI-Modell integriert ist, unabhängig davon, ob das KI-Modell von ihm selbst bereitgestellt und vertikal integriert ist oder von einem anderen Unternehmen auf der Grundlage vertraglicher Beziehungen bereitgestellt wird.
Quelle öffnen
Art. 4

KI-Kompetenz

Verlangt KI-Kompetenz bei Anbietern und Betreibern: Personen, die KI entwickeln, einsetzen oder beaufsichtigen, müssen kontextbezogen ausreichend verstehen, was das System kann, wo Grenzen und Risiken liegen und wie es verantwortungsvoll genutzt wird. Massstab sind technische Kenntnisse, Erfahrung, Ausbildung, Einsatzkontext und die betroffenen Personengruppen.

Originaltext anzeigen
Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach bestem Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ausreichende KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Aus- und Weiterbildung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, berücksichtigt werden.
Quelle öffnen
Kapitel II

Verbotene KI-Praktiken

Artikel 5 · 1 Abschnitt(e)

Art. 5

Verbotene AI-Praktiken

Verbietet KI-Praktiken mit besonders hohem Schadenspotenzial: manipulative oder täuschende Beeinflussung mit erheblichem Schaden, Ausnutzung von Alter, Behinderung oder sozialer Lage, Social Scoring, bestimmte Kriminalitätsprognosen nur anhand von Profiling, Scraping von Gesichtsbildern für Datenbanken, Emotionserkennung am Arbeitsplatz/Bildung außer für medizinische oder Sicherheitszwecke, sensible biometrische Kategorisierung und bestimmte Echtzeit-Fernidentifikation im öffentlichen Raum. Für eng begrenzte Strafverfolgungsausnahmen gelten strenge Zwecke, Genehmigungen und Verhältnismäßigkeitsanforderungen.

Originaltext anzeigen
1. Die folgenden AI-Praktiken sind verboten:
(a) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das unterschwellige Techniken, die sich dem Bewusstsein einer Person entziehen, oder absichtlich manipulative oder täuschende Techniken einsetzt, mit dem Ziel oder der Wirkung, das Verhalten einer Person oder einer Personengruppe dadurch wesentlich zu beeinflussen, dass ihre Fähigkeit, eine sachkundige Entscheidung zu treffen, spürbar beeinträchtigt wird, wodurch sie veranlasst wird, eine Entscheidung zu treffen, die sie andernfalls nicht getroffen hätte, und zwar in einer Weise, die dieser Person, einer anderen Person oder einer Personengruppe einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird;
verwandt:
Erwägungsgrund 29
(b) das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das eine Schwachstelle einer natürlichen Person oder einer bestimmten Personengruppe aufgrund ihres Alters, einer Behinderung oder einer besonderen sozialen oder wirtschaftlichen Situation ausnutzt, mit dem Ziel oder der Wirkung, das Verhalten dieser Person oder einer Person, die dieser Gruppe angehört, in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird
:
Erwägungsgrund 29
(c) das Inverkehrbringen, die Inbetriebnahme oder der Einsatz von KI-Systemen zur Bewertung oder Klassifizierung natürlicher Personen oder Personengruppen über einen bestimmten Zeitraum hinweg auf der Grundlage ihres Sozialverhaltens oder bekannter, abgeleiteter oder vorhergesagter persönlicher oder persönlichkeitsbezogener Merkmale, wobei die soziale Bewertung zu einem oder beiden der folgenden Punkte führt:
(i) Benachteiligung oder ungünstige Behandlung bestimmter natürlicher Personen oder Personengruppen in gesellschaftlichen Zusammenhängen, die nichts mit den Zusammenhängen zu tun haben, in denen die Daten ursprünglich erzeugt oder erhoben wurden;
(ii) Benachteiligung oder ungünstige Behandlung bestimmter natürlicher Personen oder Personengruppen, die ungerechtfertigt ist oder in keinem Verhältnis zu ihrem sozialen Verhalten oder dessen Schwere steht;
(d) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung eines KI-Systems für Risikobewertungen natürlicher Personen, um das Risiko, dass eine natürliche Person eine Straftat begeht, zu bewerten oder vorherzusagen, und zwar ausschließlich auf der Grundlage der Erstellung eines Profils einer natürlichen Person oder der Bewertung ihrer Persönlichkeitsmerkmale und Eigenschaften; dieses Verbot gilt nicht für KI-Systeme, die zur Unterstützung der menschlichen Bewertung der Beteiligung einer Person an einer kriminellen Tätigkeit verwendet werden, die bereits auf objektiven und überprüfbaren Tatsachen beruht, die in direktem Zusammenhang mit einer kriminellen Tätigkeit stehen;
verwandt:
Erwägungsgrund 42
(e) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung von KI-Systemen, die Datenbanken für die Gesichtserkennung durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder aus Videoüberwachungsaufnahmen erstellen oder erweitern;
verwandt:
Erwägungsgrund 43
(f) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung von KI-Systemen zur Ableitung von Emotionen einer natürlichen Person in den Bereichen Arbeitsplatz und Bildungseinrichtungen, es sei denn, die Verwendung des KI-Systems soll aus medizinischen oder sicherheitstechnischen Gründen eingeführt oder in Verkehr gebracht werden
:
Erwägungsgrund 44
(g) das Inverkehrbringen, die Inbetriebnahme zu diesem speziellen Zweck oder die Verwendung biometrischer Kategorisierungssysteme, die einzelne natürliche Personen auf der Grundlage ihrer biometrischen Daten kategorisieren, um Rückschlüsse auf ihre Ethnie, ihre politischen Meinungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder philosophischen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu ziehen; dieses Verbot erstreckt sich nicht auf die Kennzeichnung oder Filterung rechtmäßig erworbener biometrischer Datensätze, wie z. B. Bilder, auf der Grundlage biometrischer Daten oder auf die Kategorisierung biometrischer Daten im Bereich der Strafverfolgung
:
Erwägungsgrund 30
(h) die Verwendung von biometrischen Echtzeit-Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Zwecken der Strafverfolgung, es sei denn, eine solche Verwendung ist für eines der folgenden Ziele unbedingt erforderlich:
(i) die gezielte Suche nach bestimmten Opfern von Entführung, Menschenhandel oder sexueller Ausbeutung von Menschen sowie die Suche nach vermissten Personen;
(ii) die Abwehr einer konkreten, erheblichen und unmittelbaren Gefahr für das Leben oder die körperliche Sicherheit natürlicher Personen oder einer tatsächlichen und gegenwärtigen oder tatsächlichen und vorhersehbaren Gefahr eines Terroranschlags;
(iii) die Lokalisierung oder Identifizierung einer Person, die im Verdacht steht, eine Straftat begangen zu haben, zum Zwecke der Durchführung strafrechtlicher Ermittlungen oder der Strafverfolgung oder der Vollstreckung einer strafrechtlichen Sanktion für Straftaten nach
Anhang II
, die in dem betreffenden Mitgliedstaat mit einer Freiheitsstrafe oder einer freiheitsentziehenden Maßregel der Sicherung im Höchstmaß von mindestens vier Jahren bedroht sind. Unterabsatz 1 Buchstabe h gilt unbeschadet des Artikels 9 der Verordnung (EU) 2016/679 für die Verarbeitung biometrischer Daten zu anderen als Strafverfolgungszwecken.
Verwandt: Erwägungsgründe
32
,
33
,
38
,
39
,
40
und
41
2. Der Einsatz von biometrischen Fernidentifizierungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele darf nur für die in diesem Buchstaben genannten Zwecke eingesetzt werden, um die Identität der betreffenden Person zu bestätigen, wobei folgende Aspekte zu berücksichtigen sind
(a) die Art der Situation, die Anlass für den möglichen Einsatz ist, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß des Schadens, der entstehen würde, wenn das System nicht eingesetzt würde;
(b) die Folgen des Einsatzes des Systems für die Rechte und Freiheiten aller betroffenen Personen, insbesondere die Schwere, die Wahrscheinlichkeit und das Ausmaß dieser Folgen. Darüber hinaus müssen bei der Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken für eines der in Absatz 1 Unterabsatz 1 Buchstabe h dieses Artikels genannten Ziele die notwendigen und angemessenen Garantien und Bedingungen in Bezug auf die Verwendung im Einklang mit dem einzelstaatlichen Recht, das die Verwendung zulässt, eingehalten werden, insbesondere in Bezug auf die zeitlichen, geografischen und persönlichen Beschränkungen. Die Verwendung des biometrischen Echtzeit-Fernerkennungssystems in öffentlich zugänglichen Räumen ist nur zulässig, wenn die Strafverfolgungsbehörde eine Folgenabschätzung für die Grundrechte gemäß
Artikel 27
durchgeführt und das System gemäß
Artikel 49
in der EU-Datenbank registriert hat. In hinreichend begründeten dringenden Fällen kann jedoch mit dem Einsatz solcher Systeme ohne Registrierung in der EU-Datenbank begonnen werden, sofern die Registrierung ohne unangemessene Verzögerung abgeschlossen wird.
Verwandt: Erwägungsgründe
34
,
38
,
39
,
40
und
41
3. Für die Zwecke des Absatzes 1 Unterabsatz 1 Buchstabe h und des Absatzes 2 bedarf jede Verwendung eines biometrischen Fernerkennungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken einer vorherigen Genehmigung, die von einer Justizbehörde oder einer unabhängigen Verwaltungsbehörde, deren Entscheidung für den Mitgliedstaat, in dem die Verwendung erfolgen soll, bindend ist, auf begründeten Antrag und nach Maßgabe der in Absatz 5 genannten einzelstaatlichen Rechtsvorschriften erteilt wird. In hinreichend begründeten dringenden Fällen kann jedoch mit der Verwendung eines solchen Systems ohne Genehmigung begonnen werden, sofern diese Genehmigung unverzüglich, spätestens jedoch innerhalb von 24 Stunden, beantragt wird. Wird die Genehmigung verweigert, so wird die Nutzung mit sofortiger Wirkung eingestellt, und alle Daten sowie die Ergebnisse und Ausgaben dieser Nutzung werden unverzüglich verworfen und gelöscht. Die zuständige Justizbehörde oder eine unabhängige Verwaltungsbehörde, deren Entscheidung verbindlich ist, erteilt die Genehmigung nur dann, wenn sie auf der Grundlage objektiver Beweise oder eindeutiger Anhaltspunkte, die ihr vorgelegt werden, davon überzeugt ist, dass die Verwendung des betreffenden biometrischen Echtzeit-Fernerkennungssystems für die Erreichung eines der in Absatz 1 Unterabsatz 1 Buchstabe h genannten Ziele, wie im Antrag angegeben, erforderlich und verhältnismäßig ist und insbesondere hinsichtlich des Zeitraums sowie des geografischen und persönlichen Anwendungsbereichs auf das unbedingt erforderliche Maß beschränkt bleibt. Bei der Entscheidung über das Ersuchen berücksichtigt diese Behörde die in Absatz 2 genannten Elemente. Eine Entscheidung, die sich rechtlich nachteilig auf eine Person auswirkt, darf nicht allein auf der Grundlage der Ergebnisse des biometrischen Echtzeit-Fernerkennungssystems getroffen werden.
Verwandt: Erwägungsgründe
35
,
38
,
39
,
40
und
41
4. Unbeschadet des Absatzes 3 ist jede Nutzung eines biometrischen Fernidentifizierungssystems in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken der zuständigen Marktüberwachungsbehörde und der nationalen Datenschutzbehörde gemäß den in Absatz 5 genannten nationalen Vorschriften zu melden. Die Meldung muss mindestens die in Absatz 6 genannten Informationen enthalten und darf keine sensiblen operativen Daten umfassen.
Verwandt: Erwägungsgründe
36
,
38
,
39
,
40
und
41
5. Ein Mitgliedstaat kann beschließen, die Möglichkeit vorzusehen, die Verwendung von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken innerhalb der in Absatz 1 Unterabsatz 1 Buchstabe h und in den Absätzen 2 und 3 genannten Grenzen und unter den dort genannten Bedingungen ganz oder teilweise zuzulassen. (4) Die betreffenden Mitgliedstaaten legen in ihrem innerstaatlichen Recht die erforderlichen detaillierten Vorschriften für die Beantragung, Erteilung und Ausübung sowie für die Überwachung und Berichterstattung im Zusammenhang mit den in Absatz 3 genannten Genehmigungen fest. In diesen Vorschriften wird auch festgelegt, für welche der in Absatz 1 Unterabsatz 1 Buchstabe h aufgeführten Ziele, einschließlich der in Buchstabe h Ziffer iii genannten Straftaten, die zuständigen Behörden ermächtigt werden können, diese Systeme für die Zwecke der Strafverfolgung zu nutzen. Die Mitgliedstaaten teilen der Kommission diese Vorschriften spätestens 30 Tage nach ihrem Erlass mit. Die Mitgliedstaaten können im Einklang mit dem Unionsrecht restriktivere Rechtsvorschriften für den Einsatz biometrischer Fernerkennungssysteme erlassen.
Verwandt: Erwägungsgründe
37
,
38
,
39
,
40
und
41
6. Die nationalen Marktüberwachungsbehörden und die nationalen Datenschutzbehörden der Mitgliedstaaten, denen die Verwendung von biometrischen Fernerkennungssystemen in öffentlich zugänglichen Räumen in Echtzeit zu Strafverfolgungszwecken gemäß Absatz 4 gemeldet wurde, legen der Kommission jährliche Berichte über diese Verwendung vor. Zu diesem Zweck stellt die Kommission den Mitgliedstaaten und den nationalen Marktüberwachungs- und Datenschutzbehörden eine Vorlage zur Verfügung, die auch Informationen über die Anzahl der von den zuständigen Justizbehörden oder einer unabhängigen Verwaltungsbehörde getroffenen Entscheidungen, deren Entscheidung für Anträge auf Genehmigungen gemäß Absatz 3 verbindlich ist, und deren Ergebnis enthält.
Verwandt: Erwägungsgründe
38
,
39
,
40
und
41
7. Die Kommission veröffentlicht jährliche Berichte über den Einsatz von biometrischen Echtzeit-Fernerkennungssystemen in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken auf der Grundlage aggregierter Daten in den Mitgliedstaaten auf der Grundlage der in Absatz 6 genannten Jahresberichte. Diese Jahresberichte enthalten keine sensiblen operativen Daten über die entsprechenden Strafverfolgungsmaßnahmen.
Verwandt: Erwägungsgründe
38
,
39
,
40
und
41
8. Dieser Artikel berührt nicht die Verbote, die gelten, wenn eine AI-Praxis gegen anderes Unionsrecht verstößt.
Quelle öffnen
Kapitel III

Hochrisiko-KI-Systeme

Artikel 6-49 · 44 Abschnitt(e)

Art. 6

Klassifizierungsregeln für KI-Systeme mit hohem Risiko

Erklärt die Hochrisiko-Einstufung: Hochrisiko ist ein KI-System, wenn es Sicherheitsbauteil oder Produkt unter Anhang-I-Produktrecht ist und eine Dritt-Konformitätsbewertung braucht, oder wenn es unter einen Anhang-III-Anwendungsfall fällt. Anhang-III-Systeme können ausnahmsweise nicht hochriskant sein, wenn sie nur eng verfahrensbezogen, vorbereitend, verbessernd oder rein detektierend wirken; Profiling ist aber grundsätzlich hochriskant und die Nicht-Hochrisiko-Einstufung muss dokumentiert werden.

Originaltext anzeigen
1. Unabhängig davon, ob ein KI-System unabhängig von den unter den Buchstaben a und b genannten Produkten in Verkehr gebracht oder in Betrieb genommen wird, gilt dieses KI-System als mit hohem Risiko behaftet, wenn beide der folgenden Bedingungen erfüllt sind:
(a) Das AI-System ist zur Verwendung als Sicherheitsbauteil eines Produkts bestimmt, oder das AI-System ist selbst ein Produkt, das unter die in
Anhang I
aufgeführten Harmonisierungsrechtsvorschriften der Union fällt;
(b) das Produkt, dessen Sicherheitsbauteil gemäß Buchstabe a das AI-System ist, oder das AI-System selbst als Produkt einer Konformitätsbewertung durch einen Dritten unterzogen werden muss, damit dieses Produkt gemäß den in
Anhang I
aufgeführten Harmonisierungsrechtsvorschriften der Union in Verkehr gebracht oder in Betrieb genommen werden kann.
Verwandt: Erwägungsgründe
47
,
50
und
51
2. Neben den in Absatz 1 genannten AI-Systemen mit hohem Risiko gelten auch die in
Anhang III
genannten AI-Systeme als mit hohem Risiko behaftet.
Verwandt: Erwägungsgründe
48
,
52
,
54
,
55
,
56
,
57
,
58
,
59
,
60
,
61
,
62
und
63
3. Abweichend von Absatz 2 gilt ein in
Anhang III
genanntes KI-System nicht als risikoreich, wenn es kein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen birgt, auch nicht dadurch, dass es das Ergebnis der Entscheidungsfindung wesentlich beeinflusst. Unterabsatz 1 findet Anwendung, wenn eine der folgenden Bedingungen erfüllt ist:
(a) Das KI-System ist für die Ausführung einer engen verfahrenstechnischen Aufgabe bestimmt;
(b) das KI-System ist dazu bestimmt, das Ergebnis einer zuvor ausgeführten menschlichen Tätigkeit zu verbessern;
(c) das KI-System ist dazu bestimmt, Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und ist nicht dazu bestimmt, die zuvor durchgeführte menschliche Bewertung ohne angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen; oder
(d) das KI-System dient der Vorbereitung einer Bewertung, die für die Zwecke der in
Anhang III
aufgeführten Anwendungsfälle relevant ist.
Ungeachtet des Unterabsatzes 1 gilt ein in
Anhang III
genanntes KI-System immer dann als mit hohem Risiko behaftet, wenn das KI-System ein Profiling natürlicher Personen durchführt.
4. Ein Anbieter, der der Auffassung ist, dass ein in
Anhang III
genanntes AI-System kein hohes Risiko darstellt, dokumentiert seine Bewertung, bevor das System in Verkehr gebracht oder in Betrieb genommen wird. Ein solcher Anbieter unterliegt der Registrierungspflicht gemäß
Artikel 49
Absatz 2. Auf Verlangen der zuständigen nationalen Behörden legt der Anbieter die Dokumentation der Bewertung vor.
5. Die Kommission legt nach Anhörung des Europäischen Ausschusses für künstliche Intelligenz ("Ausschuss") bis spätestens 2. Februar 2026 Leitlinien für die praktische Umsetzung dieses Artikels im Einklang mit
Artikel 96
sowie eine umfassende Liste praktischer Beispiele für Anwendungsfälle von KI-Systemen mit hohem und ohne hohem Risiko vor.
6. Der Kommission wird die Befugnis übertragen, delegierte Rechtsakte gemäß
Artikel 97
zu erlassen, um Absatz 3 Unterabsatz 2 dieses Artikels zu ändern, indem neue Bedingungen zu den darin festgelegten hinzugefügt oder diese geändert werden, wenn konkrete und zuverlässige Beweise für die Existenz von KI-Systemen vorliegen, die in den Anwendungsbereich von
Anhang III
fallen, aber kein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen darstellen.
7. Die Kommission erlässt delegierte Rechtsakte gemäß
Artikel 97
zur Änderung von Absatz 3 Unterabsatz 2 des vorliegenden Artikels durch Streichung einer der darin festgelegten Bedingungen, wenn konkrete und zuverlässige Beweise dafür vorliegen, dass dies erforderlich ist, um das in dieser Verordnung vorgesehene Niveau des Schutzes der Gesundheit, der Sicherheit und der Grundrechte aufrechtzuerhalten.
8. Jede Änderung der in Absatz 3 Unterabsatz 2 festgelegten Bedingungen, die gemäß den Absätzen 6 und 7 des vorliegenden Artikels erlassen wird, darf das in dieser Verordnung vorgesehene Gesamtniveau des Schutzes der Gesundheit, der Sicherheit und der Grundrechte nicht verringern und muss die Kohärenz mit den gemäß
Artikel 7
Absatz 1 erlassenen delegierten Rechtsakten gewährleisten sowie den Markt- und Technologieentwicklungen Rechnung tragen.
Quelle öffnen
Art. 7

Änderungen des Anhangs III

Erlaubt der Kommission, Anhang III per delegiertem Rechtsakt anzupassen. Neue Hochrisiko-Fälle dürfen nur aufgenommen werden, wenn sie in bestehende Bereiche passen und vergleichbare oder höhere Risiken für Gesundheit, Sicherheit oder Grundrechte erzeugen; Streichungen sind möglich, wenn Risiken weggefallen oder ausreichend gemindert sind.

Originaltext anzeigen
1. Der Kommission wird die Befugnis übertragen, delegierte Rechtsakte gemäß
Artikel 97
zu erlassen, um
Anhang III
durch Hinzufügung oder Änderung von Verwendungsfällen von AI-Systemen mit hohem Risiko zu ändern, wenn beide der folgenden Bedingungen erfüllt sind:
(a) Die KI-Systeme sind für die Verwendung in einem der in
Anhang III
aufgeführten Bereiche bestimmt;
(b) von den KI-Systemen eine Gefahr für die Gesundheit und Sicherheit oder eine Beeinträchtigung der Grundrechte ausgeht und diese Gefahr der Gefahr einer Beeinträchtigung der Gesundheit oder einer Beeinträchtigung der Grundrechte gleichkommt oder größer ist als die Gefahr einer Beeinträchtigung, die von den bereits in
Anhang III
genannten KI-Systemen mit hohem Risiko ausgeht.
2. Bei der Beurteilung der Bedingung gemäß Absatz 1 Buchstabe b berücksichtigt die Kommission die folgenden Kriterien:
(a) den beabsichtigten Zweck des KI-Systems;
(b) das Ausmaß, in dem ein KI-System eingesetzt wurde oder wahrscheinlich eingesetzt werden wird;
(c) Art und Umfang der durch das KI-System verarbeiteten und genutzten Daten, insbesondere ob besondere Kategorien personenbezogener Daten verarbeitet werden;
(d) das Ausmaß, in dem das KI-System autonom handelt, und die Möglichkeit für einen Menschen, sich über eine Entscheidung oder Empfehlung hinwegzusetzen, die zu einem potenziellen Schaden führen kann;
(e) das Ausmaß, in dem die Verwendung eines KI-Systems bereits zu einer Beeinträchtigung der Gesundheit und Sicherheit geführt hat, sich nachteilig auf die Grundrechte ausgewirkt hat oder Anlass zu erheblichen Bedenken hinsichtlich der Wahrscheinlichkeit einer solchen Beeinträchtigung oder nachteiligen Auswirkung gegeben hat, wie beispielsweise durch Berichte oder dokumentierte Behauptungen, die den zuständigen nationalen Behörden vorgelegt wurden, oder gegebenenfalls durch andere Berichte belegt wird;
(f) das potenzielle Ausmaß eines solchen Schadens oder einer solchen nachteiligen Auswirkung, insbesondere im Hinblick auf ihre Intensität und ihre Fähigkeit, mehrere Personen zu beeinträchtigen oder eine bestimmte Personengruppe unverhältnismäßig stark zu beeinträchtigen;
(g) das Ausmaß, in dem Personen, die potenziell geschädigt werden oder eine nachteilige Auswirkung erleiden, von dem mit einem KI-System erzielten Ergebnis abhängig sind, insbesondere weil es aus praktischen oder rechtlichen Gründen vernünftigerweise nicht möglich ist, von diesem Ergebnis abzuweichen;
(h) das Ausmaß, in dem ein Machtungleichgewicht besteht oder sich die Personen, die potenziell geschädigt werden oder nachteilige Auswirkungen erleiden, in einer schutzbedürftigen Position gegenüber dem Anwender eines KI-Systems befinden, insbesondere aufgrund von Status, Autorität, Wissen, wirtschaftlichen oder sozialen Umständen oder Alter;
(i) das Ausmaß, in dem das mit einem KI-System erzeugte Ergebnis leicht korrigierbar oder umkehrbar ist, wobei die zur Korrektur oder Umkehrung verfügbaren technischen Lösungen zu berücksichtigen sind, wobei Ergebnisse, die sich nachteilig auf die Gesundheit, die Sicherheit oder die Grundrechte auswirken, nicht als leicht korrigierbar oder umkehrbar gelten;
(j) das Ausmaß und die Wahrscheinlichkeit des Nutzens des Einsatzes des KI-Systems für Einzelpersonen, Gruppen oder die Gesellschaft insgesamt, einschließlich möglicher Verbesserungen der Produktsicherheit;
(k) den Umfang, in dem das geltende Unionsrecht dies vorsieht:
(i) wirksame Rechtsbehelfe gegen die von einem KI-System ausgehenden Risiken, wobei Schadenersatzansprüche ausgeschlossen sind;
(ii) wirksame Maßnahmen zur Vermeidung oder wesentlichen Verringerung dieser Risiken.
3. Der Kommission wird die Befugnis übertragen, delegierte Rechtsakte gemäß
Artikel 97
zu erlassen, um die Liste in
Anhang III
zu ändern und AI-Systeme mit hohem Risiko zu streichen, wenn beide der folgenden Bedingungen erfüllt sind:
(a) die betreffende Hochrisiko-VI-Regelung unter Berücksichtigung der in Absatz 2 aufgeführten Kriterien keine erheblichen Risiken für die Grundrechte, die Gesundheit oder die Sicherheit mehr birgt;
(b) die Löschung führt nicht zu einer Verringerung des Gesamtniveaus des Schutzes der Gesundheit, der Sicherheit und der Grundrechte nach dem Unionsrecht.
Quelle öffnen
Art. 8

Erfüllung der Anforderungen

Stellt klar: Hochrisiko-KI muss alle einschlägigen Anforderungen aus Kapitel III Abschnitt 2 erfüllen, unter Berücksichtigung von Zweckbestimmung und Stand der Technik. Bei KI als Teil regulierter Produkte sollen AI-Act-Anforderungen mit bestehendem Produktrecht, Risikomanagement und Konformitätsbewertung integriert werden.

Originaltext anzeigen
1. KI-Systeme mit hohem Risiko müssen die in diesem Abschnitt festgelegten Anforderungen erfüllen, wobei ihr Verwendungszweck sowie der allgemein anerkannte Stand der Technik in Bezug auf KI und KI-bezogene Technologien zu berücksichtigen sind. Das in
Artikel 9
genannte Risikomanagementsystem wird bei der Gewährleistung der Einhaltung dieser Anforderungen berücksichtigt.
2. Enthält ein Produkt ein AI-System, für das die Anforderungen dieser Verordnung sowie die Anforderungen der in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union gelten, so sind die Anbieter dafür verantwortlich, dass ihr Produkt in vollem Umfang mit allen geltenden Anforderungen der anwendbaren Harmonisierungsrechtsvorschriften der Union übereinstimmt. (2) Um sicherzustellen, dass die in Absatz 1 genannten AI-Systeme mit hohem Risiko den Anforderungen dieses Abschnitts entsprechen, und um Kohärenz zu gewährleisten, Doppelarbeit zu vermeiden und den zusätzlichen Aufwand so gering wie möglich zu halten, haben die Anbieter die Wahl, die erforderlichen Prüf- und Meldeverfahren, Informationen und Unterlagen, die sie in Bezug auf ihr Produkt bereitstellen, gegebenenfalls in die Dokumentation und die Verfahren zu integrieren, die bereits bestehen und nach den in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union erforderlich sind.
Quelle öffnen
Art. 9

Risikomanagementsystem

Verlangt für Hochrisiko-KI ein dokumentiertes, laufend aktualisiertes Risikomanagement über den gesamten Lebenszyklus. Es muss vorhersehbare Risiken und Fehlanwendungen identifizieren, bewerten, testen und mit geeigneten Maßnahmen mindern; Restrisiken müssen akzeptabel sein und Tests müssen vor dem Inverkehrbringen sowie bei Bedarf wiederholt werden.

Originaltext anzeigen
1. Für AI-Systeme mit hohem Risiko wird ein Risikomanagementsystem eingerichtet, umgesetzt, dokumentiert und aufrechterhalten.
2. Das Risikomanagementsystem ist als ein kontinuierlicher, iterativer Prozess zu verstehen, der während des gesamten Lebenszyklus eines risikoreichen AI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert. Es umfasst die folgenden Schritte:
(a) die Ermittlung und Analyse der bekannten und der vernünftigerweise vorhersehbaren Risiken, die das AI-System mit hohem Risiko für die Gesundheit, die Sicherheit oder die Grundrechte darstellen kann, wenn das AI-System mit hohem Risiko bestimmungsgemäß verwendet wird;
(b) die Abschätzung und Bewertung der Risiken, die entstehen können, wenn das Hochrisiko-KI-System bestimmungsgemäß und unter den Bedingungen einer vernünftigerweise vorhersehbaren Fehlanwendung eingesetzt wird;
(c) die Bewertung anderer möglicherweise auftretender Risiken auf der Grundlage der Analyse von Daten, die im Rahmen des in
Artikel 72
genannten Systems zur Überwachung nach dem Inverkehrbringen gesammelt wurden;
(d) die Verabschiedung geeigneter und gezielter Risikomanagementmaßnahmen, um den gemäß Buchstabe a ermittelten Risiken zu begegnen.
3. Die in diesem Artikel genannten Risiken betreffen nur solche, die durch die Entwicklung oder Konstruktion des AI-Systems mit hohem Risiko oder durch die Bereitstellung angemessener technischer Informationen nach vernünftigem Ermessen eingedämmt oder ausgeschaltet werden können.
4. Bei den in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen sind die Auswirkungen und möglichen Wechselwirkungen, die sich aus der kombinierten Anwendung der in diesem Abschnitt festgelegten Anforderungen ergeben, gebührend zu berücksichtigen, um die Risiken wirksamer zu minimieren und gleichzeitig ein angemessenes Gleichgewicht bei der Durchführung der Maßnahmen zur Erfüllung dieser Anforderungen zu erreichen.
5. Die in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen müssen so beschaffen sein, dass das mit den einzelnen Gefahren verbundene relevante Restrisiko sowie das Gesamtrestrisiko der mit hohem Risiko behafteten AI-Systeme als annehmbar eingestuft wird. Bei der Ermittlung der am besten geeigneten Risikomanagementmaßnahmen ist Folgendes zu beachten:
(a) Beseitigung oder Verringerung der gemäß Absatz 2 ermittelten und bewerteten Risiken, soweit dies technisch möglich ist, durch eine angemessene Gestaltung und Entwicklung des AI-Systems für Hochrisikoprodukte;
(b) gegebenenfalls Durchführung angemessener Maßnahmen zur Abschwächung und Kontrolle von Risiken, die nicht beseitigt werden können;
(c) die Bereitstellung der gemäß
Artikel 13
erforderlichen Informationen und gegebenenfalls die Schulung der Einsatzkräfte. Im Hinblick auf die Beseitigung oder Verringerung der Risiken im Zusammenhang mit dem Einsatz des Hochrisiko-KI-Systems werden die technischen Kenntnisse, die Erfahrung, die Ausbildung und die zu erwartende Schulung des Anwenders sowie der voraussichtliche Kontext, in dem das System eingesetzt werden soll, angemessen berücksichtigt.
6. AI-Systeme mit hohem Risiko werden getestet, um die am besten geeigneten und gezielten Risikomanagementmaßnahmen zu ermitteln. Durch die Tests wird sichergestellt, dass AI-Systeme mit hohem Risiko für den beabsichtigten Zweck durchgängig funktionieren und die in diesem Abschnitt festgelegten Anforderungen erfüllen.
7. Die Prüfverfahren können Prüfungen unter realen Bedingungen gemäß
Artikel 60
umfassen.
8. Die Erprobung von KI-Systemen mit hohem Risiko erfolgt gegebenenfalls zu jedem Zeitpunkt des Entwicklungsprozesses, in jedem Fall aber vor dem Inverkehrbringen oder der Inbetriebnahme des Systems. Die Tests werden anhand zuvor festgelegter Messgrößen und Wahrscheinlichkeitsschwellen durchgeführt, die für den beabsichtigten Zweck des KI-Systems mit hohem Risiko geeignet sind.
9. (8) Bei der Anwendung des Risikomanagementsystems gemäß den Absätzen 1 bis 7 prüfen die Anbieter, ob das AI-System für hohe Risiken angesichts des beabsichtigten Zwecks nachteilige Auswirkungen auf Personen unter 18 Jahren und gegebenenfalls auf andere schutzbedürftige Gruppen haben könnte.
10. Bei Anbietern von KI-Systemen mit hohem Risiko, die aufgrund anderer einschlägiger Bestimmungen des Unionsrechts Anforderungen an interne Risikomanagementverfahren unterliegen, können die in den Absätzen 1 bis 9 genannten Aspekte Teil der gemäß diesen Rechtsvorschriften festgelegten Risikomanagementverfahren sein oder mit diesen kombiniert werden.
Quelle öffnen
Art. 10

Daten und Datenverwaltung

Regelt Daten- und Data-Governance-Pflichten für trainierte Hochrisiko-KI: Trainings-, Validierungs- und Testdaten müssen für den Zweck relevant, ausreichend repräsentativ, möglichst fehlerfrei und vollständig sein. Anbieter müssen Herkunft, Erhebung, Aufbereitung, Annahmen, Datenlücken, Bias-Risiken und geeignete Gegenmaßnahmen dokumentieren; sensible Daten dürfen für Bias-Erkennung nur unter strengen Schutzvorgaben verarbeitet werden.

Originaltext anzeigen
1. KI-Systeme mit hohem Risiko, die Techniken verwenden, bei denen KI-Modelle mit Daten trainiert werden, werden auf der Grundlage von Trainings-, Validierungs- und Testdatensätzen entwickelt, die die in den Absätzen 2 bis 5 genannten Qualitätskriterien erfüllen, wenn solche Datensätze verwendet werden.
2. Für die Trainings-, Validierungs- und Testdatensätze gelten Datenverwaltungs- und -managementpraktiken, die für den beabsichtigten Zweck des Hochrisiko-KI-Systems geeignet sind. Diese Praktiken betreffen insbesondere Folgendes:
(a) die relevanten Designentscheidungen;
(b) die Verfahren zur Datenerhebung und die Herkunft der Daten sowie im Falle personenbezogener Daten den ursprünglichen Zweck der Datenerhebung;
(c) relevante Datenaufbereitungsvorgänge wie Annotation, Kennzeichnung, Bereinigung, Aktualisierung, Anreicherung und Aggregation;
(d) die Formulierung von Annahmen, insbesondere in Bezug auf die Informationen, die die Daten messen und darstellen sollen;
(e) eine Bewertung der Verfügbarkeit, der Menge und der Eignung der benötigten Datensätze;
(f) Prüfung im Hinblick auf mögliche Verzerrungen, die die Gesundheit und Sicherheit von Personen beeinträchtigen, negative Auswirkungen auf die Grundrechte haben oder zu einer nach dem Unionsrecht verbotenen Diskriminierung führen können, insbesondere wenn die Daten-Outputs die Inputs für künftige Maßnahmen beeinflussen;
(g) geeignete Maßnahmen zur Aufdeckung, Verhinderung und Abschwächung möglicher Verzerrungen gemäß Buchstabe f);
(h) die Ermittlung relevanter Datenlücken oder -mängel, die der Einhaltung dieser Verordnung entgegenstehen, und wie diese Lücken und Mängel behoben werden können.
3. Die Trainings-, Validierungs- und Testdatensätze müssen relevant, hinreichend repräsentativ und im Hinblick auf den beabsichtigten Zweck so weit wie möglich fehlerfrei und vollständig sein. Sie müssen die geeigneten statistischen Eigenschaften aufweisen, gegebenenfalls auch in Bezug auf die Personen oder Personengruppen, für die das AI-System für hohe Risiken eingesetzt werden soll. Diese Merkmale der Datensätze können auf der Ebene der einzelnen Datensätze oder auf der Ebene einer Kombination von Datensätzen erfüllt sein.
4. Die Datensätze berücksichtigen in dem für den beabsichtigten Zweck erforderlichen Maße die Merkmale oder Elemente, die für das spezifische geografische, kontextuelle, verhaltensbezogene oder funktionale Umfeld, in dem das AI-System für hohe Risiken eingesetzt werden soll, von Bedeutung sind.
5. Soweit dies unbedingt erforderlich ist, um die Aufdeckung und Korrektur von Verzerrungen im Zusammenhang mit den KI-Systemen mit hohem Risiko gemäß Absatz 2 Buchstaben f und g dieses Artikels zu gewährleisten, können die Anbieter solcher Systeme ausnahmsweise besondere Kategorien personenbezogener Daten verarbeiten, sofern angemessene Garantien für die Grundrechte und Grundfreiheiten natürlicher Personen bestehen. Zusätzlich zu den Bestimmungen der Verordnungen (EU) 2016/679 und (EU) 2018/1725 und der Richtlinie (EU) 2016/680 müssen alle folgenden Bedingungen erfüllt sein, damit eine solche Verarbeitung stattfinden kann:
(a) Die Aufdeckung und Korrektur von Verzerrungen kann nicht wirksam durch die Verarbeitung anderer Daten, einschließlich synthetischer oder anonymisierter Daten, erfolgen;
(b) die besonderen Kategorien personenbezogener Daten unterliegen technischen Beschränkungen der Weiterverwendung der personenbezogenen Daten und dem Stand der Technik entsprechenden Sicherheits- und Datenschutzmaßnahmen, einschließlich Pseudonymisierung;
(c) die besonderen Kategorien personenbezogener Daten Gegenstand von Maßnahmen sind, die gewährleisten, dass die verarbeiteten personenbezogenen Daten gesichert und geschützt sind und geeigneten Garantien unterliegen, einschließlich strenger Kontrollen und Dokumentation des Zugangs, um Missbrauch zu vermeiden und sicherzustellen, dass nur befugte Personen mit angemessenen Vertraulichkeitsverpflichtungen Zugang zu diesen personenbezogenen Daten haben;
(d) die besonderen Kategorien personenbezogener Daten dürfen nicht an andere Parteien übermittelt, weitergegeben oder anderweitig zugänglich gemacht werden;
(e) die besonderen Kategorien personenbezogener Daten werden gelöscht, sobald die Verzerrung behoben ist oder die Aufbewahrungsfrist der personenbezogenen Daten abgelaufen ist, je nachdem, was zuerst eintritt;
(f) die Aufzeichnungen von Verarbeitungstätigkeiten gemäß den Verordnungen (EU) 2016/679 und (EU) 2018/1725 sowie der Richtlinie (EU) 2016/680 die Gründe enthalten, warum die Verarbeitung besonderer Kategorien personenbezogener Daten unbedingt erforderlich war, um Verzerrungen aufzudecken und zu korrigieren, und warum dieses Ziel nicht durch die Verarbeitung anderer Daten erreicht werden konnte.
6. Bei der Entwicklung von KI-Systemen mit hohem Risiko, die keine Techniken für das Training von KI-Modellen verwenden, gelten die Absätze 2 bis 5 nur für die Testdatensätze.
Quelle öffnen
Art. 11

Technische Dokumentation

Verlangt technische Dokumentation vor Inverkehrbringen/Inbetriebnahme und deren laufende Aktualisierung. Sie muss so konkret sein, dass Behörden und benannte Stellen Zweck, Architektur, Daten, Training, Tests, Leistung, Risiken, Kontrollen, Normen, Konformität und Post-Market-Monitoring nachvollziehen können; Mindestinhalt steht in Anhang IV.

Originaltext anzeigen
1. Die technischen Unterlagen für ein AI-System mit hohem Risiko werden vor dem Inverkehrbringen oder der Inbetriebnahme dieses Systems erstellt und auf dem neuesten Stand gehalten. Die technische Dokumentation ist so zu erstellen, dass nachgewiesen wird, dass das AI-System mit hohem Risiko die Anforderungen dieses Abschnitts erfüllt, und dass die zuständigen nationalen Behörden und die benannten Stellen in klarer und umfassender Form die erforderlichen Informationen erhalten, um die Übereinstimmung des AI-Systems mit diesen Anforderungen zu bewerten. Das System muss mindestens die in
Anhang IV
aufgeführten Elemente enthalten. KMU, einschließlich Neugründungen, können die in
Anhang IV
genannten Bestandteile der technischen Dokumentation in vereinfachter Form vorlegen. Zu diesem Zweck erstellt die Kommission ein vereinfachtes Formular für die technische Dokumentation, das auf die Bedürfnisse von Klein- und Kleinstunternehmen ausgerichtet ist. Entscheidet sich ein KMU, einschließlich eines neu gegründeten Unternehmens, dafür, die in
Anhang IV
geforderten Informationen auf vereinfachte Weise bereitzustellen, so verwendet es das in diesem Absatz genannte Formular. Die benannten Stellen akzeptieren das Formular für die Zwecke der Konformitätsbewertung.
2. Wird ein AI-System für ein Produkt, das unter die in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fällt, in Verkehr gebracht oder in Betrieb genommen, so wird eine einzige technische Dokumentation erstellt, die alle in Absatz 1 genannten Informationen sowie die nach diesen Rechtsakten erforderlichen Informationen enthält.
3. Der Kommission wird die Befugnis übertragen, delegierte Rechtsakte gemäß
Artikel 97
zu erlassen, um
Anhang IV
erforderlichenfalls zu ändern, um sicherzustellen, dass die technischen Unterlagen angesichts des technischen Fortschritts alle Informationen enthalten, die erforderlich sind, um die Übereinstimmung des Systems mit den Anforderungen dieses Abschnitts zu bewerten.
Quelle öffnen
Art. 12

Aufbewahrung der Aufzeichnungen

Schreibt technische Logging-Fähigkeiten für Hochrisiko-KI vor. Logs müssen während des Betriebs relevante Ereignisse automatisch aufzeichnen, um Rückverfolgbarkeit, Monitoring, Incident-Analyse und Nachweis der bestimmungsgemäßen Nutzung zu ermöglichen; bei biometrischer Identifikation gelten Mindestlogdaten wie Nutzungszeitraum, Referenzdatenbank, Eingabedaten und beteiligte Personen.

Originaltext anzeigen
1. AI-Systeme mit hohem Risiko müssen technisch die automatische Aufzeichnung von Ereignissen (Protokollen) während der gesamten Lebensdauer des Systems ermöglichen.
2. Um ein dem Zweck des Systems angemessenes Maß an Rückverfolgbarkeit der Funktionsweise eines AI-Systems mit hohem Risiko zu gewährleisten, müssen die Protokollierungsfunktionen die Aufzeichnung von Ereignissen ermöglichen, die für Folgendes relevant sind:
(a) Ermittlung von Situationen, die dazu führen können, dass das AI-System mit hohem Risiko ein Risiko im Sinne von
Artikel 79
Absatz 1 oder eine wesentliche Änderung darstellt;
(b) Erleichterung der Überwachung nach dem Inverkehrbringen gemäß
Artikel 72
und
(c) Überwachung des Betriebs der in
Artikel 26
Absatz 5 genannten AI-Systeme mit hohem Risiko.
3. Bei AI-Systemen mit hohem Risiko im Sinne von
Anhang III
Nummer 1 Buchstabe a) müssen die Protokollierungsfunktionen mindestens Folgendes vorsehen
(a) Aufzeichnung des Zeitraums jeder Nutzung des Systems (Datum und Uhrzeit des Beginns und Datum und Uhrzeit des Endes jeder Nutzung);
(b) die Referenzdatenbank, gegen die die Eingabedaten vom System geprüft wurden;
(c) die Eingabedaten, bei denen die Suche zu einem Treffer geführt hat;
(d) die Identifizierung der an der Überprüfung der Ergebnisse beteiligten natürlichen Personen gemäß
Artikel 14
Absatz 5.
Quelle öffnen
Art. 13

Transparenz und Bereitstellung von Informationen für Einsatzkräfte

Verlangt klare Gebrauchsanweisungen für Betreiber von Hochrisiko-KI. Sie müssen Identität des Anbieters, Zweck, Leistungsgrenzen, Genauigkeit, Robustheit, Cybersicherheit, bekannte Risiken, menschliche Aufsicht, benötigte Eingabedaten, Log-Auswertung, Wartung und erwartete Lebensdauer so erklären, dass Betreiber das System richtig einsetzen und Pflichten erfüllen können.

Originaltext anzeigen
1. KI-Systeme mit hohem Risiko sind so zu konzipieren und zu entwickeln, dass ihr Betrieb hinreichend transparent ist, damit die Anwender die Ergebnisse des Systems interpretieren und angemessen nutzen können. Es ist eine angemessene Art und ein angemessenes Maß an Transparenz zu gewährleisten, damit die in Abschnitt 3 dargelegten einschlägigen Verpflichtungen des Anbieters und des Betreibers erfüllt werden.
2. AI-Systemen mit hohem Risiko sind Gebrauchsanweisungen in einem geeigneten digitalen Format oder auf andere Weise beizufügen, die prägnante, vollständige, korrekte und klare Informationen enthalten, die für die Anwender relevant, zugänglich und verständlich sind.
3. Die Gebrauchsanweisung muss mindestens die folgenden Angaben enthalten:
(a) die Identität und die Kontaktdaten des Dienstleistungserbringers und gegebenenfalls seines Bevollmächtigten;
(b) die Merkmale, Fähigkeiten und Leistungsgrenzen des AI-Systems für hohe Risiken, einschließlich:
(i) den beabsichtigten Zweck;
(ii) das Genauigkeitsniveau, einschließlich der Metriken, die Robustheit und die Cybersicherheit gemäß
Artikel 15
, mit dem das KI-System mit hohem Risiko getestet und validiert wurde und das erwartet werden kann, sowie alle bekannten und vorhersehbaren Umstände, die sich auf das erwartete Genauigkeits-, Robustheits- und Cybersicherheitsniveau auswirken können;
(iii) alle bekannten oder vorhersehbaren Umstände im Zusammenhang mit der bestimmungsgemäßen Verwendung des Hochrisiko-KI-Systems oder einer vernünftigerweise vorhersehbaren Fehlanwendung, die zu Risiken für die Gesundheit und Sicherheit oder die Grundrechte gemäß
Artikel 9
Absatz 2 führen können;
(iv) gegebenenfalls die technischen Fähigkeiten und Merkmale des AI-Systems mit hohem Risiko, Informationen zu liefern, die für die Erklärung seiner Ergebnisse relevant sind;
(v) gegebenenfalls die Leistung des Systems in Bezug auf bestimmte Personen oder Personengruppen, bei denen das System eingesetzt werden soll;
(vi) gegebenenfalls Spezifikationen für die Eingabedaten oder sonstige relevante Informationen über die verwendeten Trainings-, Validierungs- und Testdatensätze unter Berücksichtigung des beabsichtigten Zwecks des Hochrisiko-KI-Systems;
(vii) gegebenenfalls Informationen, die es den Einsatzkräften ermöglichen, die Ergebnisse des AI-Systems für hohe Risiken zu interpretieren und angemessen zu nutzen;
(c) die Änderungen am AI-System für hohe Risiken und seiner Leistung, die der Anbieter zum Zeitpunkt der ersten Konformitätsbewertung festgelegt hat, sofern vorhanden;
(d) die in
Artikel 14
genannten menschlichen Aufsichtsmaßnahmen, einschließlich der technischen Maßnahmen, die zur Erleichterung der Interpretation der Ergebnisse der KI-Systeme mit hohem Risiko durch die Anwender getroffen werden;
(e) die erforderlichen Rechen- und Hardwareressourcen, die voraussichtliche Lebensdauer des KI-Systems mit hohem Risiko und alle erforderlichen Wartungs- und Pflegemaßnahmen, einschließlich ihrer Häufigkeit, um das ordnungsgemäße Funktionieren des KI-Systems zu gewährleisten, auch in Bezug auf Software-Updates;
(f) gegebenenfalls eine Beschreibung der Mechanismen innerhalb des AI-Systems für Hochrisikopersonen, die es den Einsatzkräften ermöglichen, die Protokolle im Einklang mit
Artikel 12
ordnungsgemäß zu erfassen, zu speichern und auszuwerten.
Quelle öffnen
Art. 14

Menschliche Aufsichtsbehörden

Schreibt wirksame menschliche Aufsicht für Hochrisiko-KI vor. Aufsichtspersonen müssen Fähigkeiten und Grenzen verstehen, Automationsbias vermeiden, Outputs richtig interpretieren, Eingriffe veranlassen, den Betrieb unterbrechen oder stoppen können; bei biometrischer Fernidentifikation braucht es grundsätzlich eine Prüfung und Bestätigung durch mindestens zwei natürliche Personen.

Originaltext anzeigen
1. KI-Systeme mit hohem Risiko sind so zu konzipieren und zu entwickeln, dass sie während ihres Einsatzes von natürlichen Personen wirksam überwacht werden können; dazu gehören auch geeignete Instrumente für die Mensch-Maschine-Schnittstelle.
2. Die menschliche Aufsicht zielt darauf ab, die Risiken für die Gesundheit, die Sicherheit oder die Grundrechte zu verhindern oder auf ein Mindestmaß zu reduzieren, die entstehen können, wenn ein KI-System mit hohem Risiko bestimmungsgemäß oder unter Bedingungen eines vernünftigerweise vorhersehbaren Missbrauchs verwendet wird, insbesondere wenn solche Risiken trotz der Anwendung anderer Anforderungen dieses
Abschnitt.
3. Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Verwendungskontext des mit hohem Risiko behafteten KI-Systems angemessen sein und werden durch eine oder beide der folgenden Arten von Maßnahmen gewährleistet:
(a) Maßnahmen, die der Anbieter vor dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems ermittelt und in dieses einbaut, sofern dies technisch machbar ist;
(b) Maßnahmen, die der Anbieter vor dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems ermittelt hat und die vom Betreiber durchgeführt werden sollten.
4. Für die Zwecke der Durchführung der Absätze 1, 2 und 3 wird das KI-System für hohe Risiken dem Einsatzbetrieb so zur Verfügung gestellt, dass natürliche Personen, denen die menschliche Aufsicht übertragen wird, in angemessener und verhältnismäßiger Weise in die Lage versetzt werden:
(a) die einschlägigen Kapazitäten und Grenzen des Hochrisiko-KI-Systems genau zu verstehen und in der Lage zu sein, seinen Betrieb ordnungsgemäß zu überwachen, auch im Hinblick auf die Erkennung und Behebung von Anomalien, Funktionsstörungen und unerwarteten Leistungen;
(b) sich der möglichen Tendenz bewusst zu sein, sich automatisch auf die von einem KI-System mit hohem Risiko erzeugten Ergebnisse zu verlassen oder sich zu sehr darauf zu verlassen ("automation bias"), insbesondere bei KI-Systemen mit hohem Risiko, die dazu verwendet werden, Informationen oder Empfehlungen für Entscheidungen zu liefern, die von natürlichen Personen zu treffen sind;
(c) die Ergebnisse des AI-Systems für hohe Risiken richtig zu interpretieren, z. B. unter Berücksichtigung der verfügbaren Interpretationsinstrumente und -methoden;
(d) in einer bestimmten Situation zu entscheiden, das AI-System für hohe Risiken nicht zu verwenden oder die Ergebnisse des AI-Systems für hohe Risiken auf andere Weise zu ignorieren, außer Kraft zu setzen oder umzukehren;
(e) in den Betrieb des Hochrisiko-KI-Systems einzugreifen oder das System durch eine "Stopp"-Taste oder ein ähnliches Verfahren zu unterbrechen, das es ermöglicht, das System in einem sicheren Zustand zum Stillstand zu bringen.
5. Bei den in
Anhang III
Nummer 1 Buchstabe a genannten AI-Systemen mit hohem Risiko wird durch die in Absatz 3 des vorliegenden Artikels genannten Maßnahmen sichergestellt, dass der Betreiber darüber hinaus keine Maßnahmen oder Entscheidungen auf der Grundlage der durch das System vorgenommenen Identifizierung trifft, es sei denn, diese Identifizierung wurde von mindestens zwei natürlichen Personen mit der erforderlichen Kompetenz, Ausbildung und Autorität gesondert überprüft und bestätigt. Die Anforderung einer gesonderten Überprüfung durch mindestens zwei natürliche Personen gilt nicht für KI-Systeme mit hohem Risiko, die zu Zwecken der Strafverfolgung, der Migration, der Grenzkontrolle oder des Asyls eingesetzt werden, wenn das Unionsrecht oder das nationale Recht die Anwendung dieser Anforderung für unverhältnismäßig hält.
Quelle öffnen
Art. 15

Genauigkeit, Robustheit und Cybersicherheit

Fordert, dass Hochrisiko-KI angemessene Genauigkeit, Robustheit und Cybersicherheit erreicht und diese Werte in der Gebrauchsanweisung ausgewiesen werden. Systeme müssen Fehler, Inkonsistenzen, Daten-/Feedback-Schleifen, Angriffe, Manipulation und unbefugte Zugriffe so weit wie möglich beherrschen, passend zu Zweck, Risiken und Stand der Technik.

Originaltext anzeigen
1. KI-Systeme mit hohem Risiko sind so zu konzipieren und zu entwickeln, dass sie ein angemessenes Niveau an Genauigkeit, Robustheit und Cybersicherheit erreichen und während ihres gesamten Lebenszyklus in dieser Hinsicht konsistent funktionieren.
2. Um die technischen Aspekte der Messung des in Absatz 1 genannten angemessenen Genauigkeits- und Robustheitsniveaus und anderer relevanter Leistungsindikatoren zu behandeln, fördert die Kommission in Zusammenarbeit mit den einschlägigen Interessengruppen und Organisationen wie Metrologie- und Benchmarking-Behörden gegebenenfalls die Entwicklung von Benchmarks und Messmethoden.
3. Die Genauigkeitsgrade und die relevanten Genauigkeitsmetriken von KI-Systemen mit hohem Risiko sind in der beiliegenden Gebrauchsanweisung anzugeben.
4. KI-Systeme mit hohem Risiko müssen so widerstandsfähig wie möglich gegenüber Fehlern, Störungen oder Unstimmigkeiten sein, die innerhalb des Systems oder der Umgebung, in der das System betrieben wird, auftreten können, insbesondere aufgrund ihrer Interaktion mit natürlichen Personen oder anderen Systemen. Zu diesem Zweck sind technische und organisatorische Maßnahmen zu treffen. Die Robustheit von KI-Systemen mit hohem Risiko kann durch technische Redundanzlösungen erreicht werden, die Backup- oder Fail-Safe-Pläne umfassen können. KI-Systeme mit hohem Risiko, die nach dem Inverkehrbringen oder der Inbetriebnahme weiter lernen, sind so zu entwickeln, dass das Risiko, dass möglicherweise verzerrte Ergebnisse den Input für künftige Operationen beeinflussen (Rückkopplungsschleifen), beseitigt oder so weit wie möglich verringert wird, und dass sichergestellt wird, dass solche Rückkopplungsschleifen durch geeignete Abhilfemaßnahmen angemessen berücksichtigt werden.
5. KI-Systeme mit hohem Risiko müssen gegen Versuche unbefugter Dritter, ihre Nutzung, ihre Ergebnisse oder ihre Leistung durch Ausnutzung von Systemschwachstellen zu verändern, widerstandsfähig sein. Die technischen Lösungen, die die Cybersicherheit von KI-Systemen mit hohem Risiko gewährleisten sollen, müssen den jeweiligen Umständen und Risiken angemessen sein. Die technischen Lösungen zur Behebung von KI-spezifischen Schwachstellen umfassen gegebenenfalls Maßnahmen zur Verhinderung, Erkennung, Reaktion, Behebung und Kontrolle von Angriffen, die darauf abzielen, den Trainingsdatensatz (Data Poisoning) oder bereits trainierte Komponenten, die beim Training verwendet werden (Model Poisoning), zu manipulieren, Eingaben, die das KI-Modell zu einem Fehler veranlassen sollen (gegnerische Beispiele oder Modellumgehung), sowie Angriffe auf die Vertraulichkeit oder Modellfehler.
Quelle öffnen
Art. 16

Pflichten der Anbieter von KI-Systemen mit hohem Risiko

Listet die Kernpflichten von Hochrisiko-Anbietern: Anforderungen einhalten, Kontaktdaten angeben, Qualitätsmanagement betreiben, Dokumentation führen, Logs aufbewahren, Konformitätsbewertung durchlaufen, EU-Konformitätserklärung erstellen, CE-Kennzeichnung anbringen, Registrierung erledigen, Korrekturmaßnahmen setzen und mit Behörden kooperieren.

Originaltext anzeigen
Anbieter von AI-Systemen mit hohem Risiko müssen:
(a) sicherstellen, dass ihre AI-Systeme für Hochrisikoprodukte den in Abschnitt 2 genannten Anforderungen entsprechen;
(b) ihren Namen, ihren eingetragenen Handelsnamen oder ihre eingetragene Handelsmarke sowie ihre Kontaktanschrift auf dem AI-System für gefährliche Stoffe oder, falls dies nicht möglich ist, auf der Verpackung oder den Begleitunterlagen angeben;
(c) über ein Qualitätsmanagementsystem verfügen, das den Anforderungen von
Artikel 17
entspricht;
(d) die in
Artikel 18
genannten Unterlagen aufzubewahren;
(e) die von ihren KI-Systemen für hohe Risiken gemäß
Artikel 19
automatisch erstellten Protokolle aufzubewahren, sofern sie diese kontrollieren;
(f) sie stellen sicher, dass das AI-System mit hohem Risiko vor seinem Inverkehrbringen oder seiner Inbetriebnahme dem einschlägigen Konformitätsbewertungsverfahren gemäß
Artikel 43
unterzogen wird;
(g) stellt eine EU-Konformitätserklärung gemäß
Artikel 47
aus;
(h) die CE-Kennzeichnung gemäß
Artikel 48
auf dem Hochrisiko-VI-System oder, falls dies nicht möglich ist, auf der Verpackung oder den Begleitunterlagen anzubringen, um die Konformität mit dieser Verordnung anzuzeigen;
(i) den Registrierungspflichten gemäß
Artikel 49
Absatz 1 nachkommen;
(j) die erforderlichen Abhilfemaßnahmen zu ergreifen und die in
Artikel 20
geforderten Informationen zu übermitteln;
(k) auf begründeten Antrag einer zuständigen nationalen Behörde den Nachweis der Konformität des AI-Systems für hohe Risiken mit den Anforderungen gemäß Abschnitt 2 erbringen;
(l) sicherzustellen, dass das AI-System für Hochrisikoprodukte die Anforderungen an die Zugänglichkeit gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllt.
Quelle öffnen
Art. 17

Qualitätsmanagementsystem

Verlangt ein dokumentiertes Qualitätsmanagementsystem für Hochrisiko-Anbieter. Es muss Strategie, Verantwortlichkeiten, Design-/Entwicklungsprozesse, Datenmanagement, Tests, Validierung, Konformität, Normen, Post-Market-Monitoring, Incident-Meldung, Kommunikation, Aufzeichnungen, Lieferantensteuerung, Ressourcen und Verantwortungsstrukturen abdecken; Kleinstunternehmen dürfen vereinfachte Elemente nutzen.

Originaltext anzeigen
1. Anbieter von AI-Systemen mit hohem Risiko müssen ein Qualitätsmanagementsystem einrichten, das die Einhaltung dieser Verordnung gewährleistet. Dieses System ist systematisch und ordnungsgemäß in Form von schriftlichen Strategien, Verfahren und Anweisungen zu dokumentieren und muss mindestens die folgenden Aspekte umfassen:
(a) eine Strategie für die Einhaltung der Vorschriften, einschließlich der Einhaltung der Konformitätsbewertungsverfahren und der Verfahren für das Management von Änderungen am AI-System mit hohem Risiko;
(b) Techniken, Verfahren und systematische Maßnahmen, die für den Entwurf, die Entwurfskontrolle und die Entwurfsprüfung des risikoreichen KI-Systems anzuwenden sind;
(c) Techniken, Verfahren und systematische Maßnahmen, die für die Entwicklung, Qualitätskontrolle und Qualitätssicherung des AI-Systems für Hochrisikoprodukte anzuwenden sind;
(d) Untersuchungs-, Test- und Validierungsverfahren, die vor, während und nach der Entwicklung des AI-Systems mit hohem Risiko durchzuführen sind, sowie die Häufigkeit, mit der sie durchgeführt werden müssen;
(e) die anzuwendenden technischen Spezifikationen, einschließlich der Normen, und - falls die einschlägigen harmonisierten Normen nicht vollständig angewandt werden oder nicht alle in Abschnitt 2 genannten einschlägigen Anforderungen abdecken - die Mittel, mit denen sichergestellt werden soll, dass das AI-System für hohe Risiken diese Anforderungen erfüllt;
(f) Systeme und Verfahren für die Datenverwaltung, einschließlich Datenerfassung, Datenerhebung, Datenanalyse, Datenkennzeichnung, Datenspeicherung, Datenfilterung, Data Mining, Datenaggregation, Datenspeicherung und sonstiger Datenverarbeitungsvorgänge, die vor und zum Zweck des Inverkehrbringens oder der Inbetriebnahme von KI-Hochrisikosystemen durchgeführt werden;
(g) das in
Artikel 9
genannte Risikomanagementsystem;
(h) die Einrichtung, Durchführung und Aufrechterhaltung eines Systems zur Überwachung nach dem Inverkehrbringen gemäß
Artikel 72
;
(i) Verfahren im Zusammenhang mit der Meldung eines schwerwiegenden Vorfalls gemäß
Artikel 73
;
(j) die Abwicklung der Kommunikation mit den zuständigen nationalen Behörden, anderen einschlägigen Behörden, einschließlich derjenigen, die den Zugang zu Daten gewähren oder unterstützen, benannten Stellen, anderen Akteuren, Kunden oder anderen interessierten Parteien;
(k) Systeme und Verfahren für die Aufzeichnung aller relevanten Unterlagen und Informationen;
(l) Ressourcenmanagement, einschließlich Maßnahmen zur Versorgungssicherheit;
(m) einen Rahmen für die Rechenschaftspflicht, in dem die Zuständigkeiten der Geschäftsleitung und des sonstigen Personals in Bezug auf alle in diesem Absatz genannten Aspekte festgelegt sind.
2. Die Umsetzung der in Absatz 1 genannten Aspekte muss in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters stehen. Die Anbieter müssen in jedem Fall das Maß an Strenge und das Schutzniveau einhalten, das erforderlich ist, um die Übereinstimmung ihrer AI-Systeme für hohe Risiken mit dieser Verordnung zu gewährleisten.
3. Anbieter von AI-Systemen mit hohem Risiko, die nach dem einschlägigen sektoralen Unionsrecht Verpflichtungen in Bezug auf Qualitätsmanagementsysteme oder eine gleichwertige Funktion unterliegen, können die in Absatz 1 aufgeführten Aspekte als Teil der Qualitätsmanagementsysteme gemäß dem genannten Recht einbeziehen.
4. Bei Anbietern, die Finanzinstitute sind, die Anforderungen an ihre interne Governance, Regelungen oder Verfahren nach dem Finanzdienstleistungsrecht der Union unterliegen, gilt die Verpflichtung zur Einrichtung eines Qualitätsmanagementsystems mit Ausnahme von Absatz 1 Buchstaben g, h und i dieses Artikels als erfüllt, wenn sie die Vorschriften über interne Governance-Regelungen oder -Verfahren gemäß dem einschlägigen Finanzdienstleistungsrecht der Union einhalten. Zu diesem Zweck werden alle in
Artikel 40
genannten harmonisierten Standards berücksichtigt.
Quelle öffnen
Art. 18

Führung der Dokumentation

Regelt Aufbewahrungspflichten der Anbieter: technische Dokumentation, Qualitätsmanagement-Unterlagen und Konformitätserklärung müssen nach Inverkehrbringen/Inbetriebnahme in der Regel zehn Jahre für Behörden verfügbar bleiben. Bei automatisierten Dokumentationspflichten gilt die Pflicht auch für relevante elektronisch erzeugte Unterlagen.

Originaltext anzeigen
1. Der Dienstleistungserbringer hält während eines Zeitraums, der zehn Jahre nach dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI-Systems endet, die Unterlagen für die zuständigen nationalen Behörden bereit:
(a) die in
Artikel 11
genannten technischen Unterlagen;
(b) die Unterlagen über das in
Artikel 17
genannte Qualitätsmanagementsystem;
(c) die Unterlagen über die von den benannten Stellen genehmigten Änderungen, soweit zutreffend;
(d) gegebenenfalls die von den benannten Stellen erlassenen Entscheidungen und sonstigen Unterlagen;
(e) die EU-Konformitätserklärung gemäß
Artikel 47
.
2. Jeder Mitgliedstaat legt die Bedingungen fest, unter denen die in Absatz 1 genannten Unterlagen für den Fall, dass ein Dienstleistungserbringer oder sein in seinem Hoheitsgebiet niedergelassener Bevollmächtigter vor Ablauf dieses Zeitraums in Konkurs geht oder seine Tätigkeit einstellt, während des in diesem Absatz genannten Zeitraums für die zuständigen nationalen Behörden zur Verfügung stehen.
3. Anbieter, bei denen es sich um Finanzinstitute handelt, die nach dem Finanzdienstleistungsrecht der Union Anforderungen in Bezug auf ihre interne Governance, Regelungen oder Verfahren unterliegen, führen die technische Dokumentation als Teil der nach dem einschlägigen Finanzdienstleistungsrecht der Union geführten Dokumentation.
Quelle öffnen
Art. 19

Automatisch erzeugte Protokolle

Verpflichtet Anbieter, automatisch erzeugte Logs aufzubewahren, soweit sie unter ihrer Kontrolle stehen. Die Aufbewahrungsdauer muss Zweck, Risiko und rechtliche Vorgaben berücksichtigen und beträgt grundsätzlich mindestens sechs Monate, sofern nicht anderes Unions- oder nationales Recht länger verlangt.

Originaltext anzeigen
1. Die Anbieter von AI-Systemen mit hohem Risiko bewahren die in
Artikel 12
Absatz 1 genannten, von ihren AI-Systemen mit hohem Risiko automatisch erstellten Protokolle auf, soweit diese unter ihrer Kontrolle stehen. Unbeschadet des geltenden Unionsrechts oder des nationalen Rechts werden die Protokolle während eines dem Verwendungszweck des Hochrisiko-KI-Systems angemessenen Zeitraums von mindestens sechs Monaten aufbewahrt, sofern das geltende Unionsrecht oder das nationale Recht, insbesondere das Unionsrecht zum Schutz personenbezogener Daten, nichts anderes vorsieht.
2. Anbieter, bei denen es sich um Finanzinstitute handelt, die nach dem Finanzdienstleistungsrecht der Union Anforderungen in Bezug auf ihre interne Governance, ihre Vorkehrungen oder Prozesse unterliegen, führen die von ihren AI-Systemen für hohe Risiken automatisch erstellten Protokolle als Teil der nach dem einschlägigen Finanzdienstleistungsrecht geführten Dokumentation.
Quelle öffnen
Art. 20

Abhilfemaßnahmen und Informationspflicht

Verpflichtet Anbieter zu sofortigen Korrekturmaßnahmen, wenn Hochrisiko-KI nicht konform ist: System in Konformität bringen, vom Markt nehmen, deaktivieren oder zurückrufen. Bei Risiken müssen Anbieter Vertriebspartner, Importeure, Betreiber, Behörden und ggf. benannte Stellen informieren und Ursachen sowie Maßnahmen transparent machen.

Originaltext anzeigen
1. Die Anbieter von mit hohem Risiko behafteten AI-Systemen, die der Auffassung sind oder Grund zu der Annahme haben, dass ein von ihnen in Verkehr gebrachtes oder in Betrieb genommenes mit hohem Risiko behaftetes AI-System nicht dieser Verordnung entspricht, ergreifen unverzüglich die erforderlichen Korrekturmaßnahmen, um die Konformität dieses Systems herzustellen, es zurückzunehmen, außer Betrieb zu setzen oder zurückzurufen, soweit dies angemessen ist. Sie unterrichten die Händler des betreffenden AI-Systems mit hohem Risiko und gegebenenfalls die Verteiler, den Bevollmächtigten und die Einführer darüber.
2. Stellt das AI-System mit hohem Risiko ein Risiko im Sinne des
Artikels 79
Absatz 1 dar und wird sich der Anbieter dieses Risikos bewusst, untersucht er - gegebenenfalls in Zusammenarbeit mit dem meldenden Betreiber - unverzüglich die Ursachen und unterrichtet die für das betreffende AI-System mit hohem Risiko zuständigen Marktüberwachungsbehörden und gegebenenfalls die notifizierte Stelle, die für dieses AI-System mit hohem Risiko eine Bescheinigung gemäß
Artikel 44
ausgestellt hat, insbesondere über die Art der Nichtkonformität und die ergriffenen einschlägigen Korrekturmaßnahmen.
Quelle öffnen
Art. 21

Zusammenarbeit mit den zuständigen Behörden

Verlangt aktive Zusammenarbeit mit zuständigen Behörden. Anbieter müssen auf begründete Anfrage Informationen, Dokumentation, Logs und Nachweise bereitstellen, Zugriff ermöglichen und Maßnahmen unterstützen, soweit dies für die Überwachung der Konformität erforderlich ist.

Originaltext anzeigen
1. Die Anbieter von AI-Systemen mit hohem Risiko stellen der zuständigen Behörde auf deren begründetes Ersuchen hin alle Informationen und Unterlagen zur Verfügung, die für den Nachweis der Konformität des AI-Systems mit hohem Risiko mit den in Abschnitt 2 genannten Anforderungen erforderlich sind, und zwar in einer Sprache, die von der Behörde leicht verstanden werden kann, und zwar in einer der von dem betreffenden Mitgliedstaat angegebenen Amtssprachen der Organe der Union.
2. Auf begründeten Antrag einer zuständigen Behörde gewähren die Dienstleistungserbringer der antragstellenden zuständigen Behörde gegebenenfalls auch Zugang zu den automatisch erstellten Protokollen des in
Artikel 12
Absatz 1 genannten AI-Systems mit hohem Risiko, soweit diese Protokolle unter ihrer Kontrolle sind.
3. Alle Informationen, die eine zuständige Behörde gemäß diesem Artikel erhält, sind gemäß den in
Artikel 78
festgelegten Vertraulichkeitsverpflichtungen zu behandeln.
Quelle öffnen
Art. 22

Bevollmächtigte Vertreter von Anbietern von KI-Systemen mit hohem Risikopotenzial

Regelt EU-Bevollmächtigte für Hochrisiko-Anbieter außerhalb der Union. Das Mandat muss u. a. Dokumentationsbereitstellung, Zusammenarbeit mit Behörden, Herausgabe von Informationen und ggf. Beendigung des Mandats bei Pflichtverletzungen des Anbieters abdecken.

Originaltext anzeigen
1. Bevor sie ihre AI-Systeme für hohe Risiken auf dem Unionsmarkt bereitstellen, benennen die in Drittländern niedergelassenen Anbieter durch ein schriftliches Mandat einen in der Union ansässigen Bevollmächtigten.
2. Der Dienstleistungserbringer muss seinem Bevollmächtigten die Möglichkeit geben, die in dem vom Dienstleistungserbringer erteilten Auftrag genannten Aufgaben zu erfüllen.
3. Der Bevollmächtigte nimmt die Aufgaben wahr, die in dem vom Dienstleistungserbringer erteilten Auftrag festgelegt sind. Er legt den Marktüberwachungsbehörden auf Anfrage eine Kopie des Mandats in einer der von der zuständigen Behörde angegebenen Amtssprachen der Organe der Union vor. Für die Zwecke dieser Verordnung ermächtigt das Mandat den Bevollmächtigten, die folgenden Aufgaben auszuführen:
(a) Sie überprüft, ob die EU-Konformitätserklärung gemäß
Artikel 47
und die technischen Unterlagen gemäß
Artikel 11
ausgestellt wurden und ob der Dienstleistungserbringer ein geeignetes Konformitätsbewertungsverfahren durchgeführt hat;
(b) hält für die zuständigen Behörden und die in
Artikel 74
Absatz 10 genannten nationalen Behörden oder Stellen zehn Jahre lang nach dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-VI-Systems die Kontaktdaten des Anbieters, der den Bevollmächtigten benannt hat, eine Kopie der EU-Konformitätserklärung gemäß
Artikel 47
, die technischen Unterlagen und gegebenenfalls die von der benannten Stelle ausgestellte Bescheinigung bereit;
(c) einer zuständigen Behörde auf begründeten Antrag alle Informationen und Unterlagen, einschließlich der unter Buchstabe b genannten, zur Verfügung zu stellen, die erforderlich sind, um die Konformität eines AI-Systems für hohe Risiken mit den Anforderungen gemäß Abschnitt 2 nachzuweisen, einschließlich des Zugangs zu den Protokollen gemäß
Artikel 12
Absatz 1, die von dem AI-System für hohe Risiken automatisch erstellt werden, soweit diese Protokolle unter der Kontrolle des Anbieters stehen;
(d) auf begründeten Antrag mit den zuständigen Behörden bei allen Maßnahmen zusammenzuarbeiten, die diese in Bezug auf das AI-System mit hohem Risiko ergreifen, insbesondere um die von dem AI-System mit hohem Risiko ausgehenden Risiken zu verringern und abzuschwächen;
(e) gegebenenfalls die Registrierungspflichten gemäß
Artikel 49
Absatz 1 zu erfüllen oder, falls die Registrierung vom Dienstleistungserbringer selbst vorgenommen wird, sicherzustellen, dass die in
Anhang VIII
Abschnitt A Nummer 3 genannten Informationen korrekt sind. Der Auftrag ermächtigt den Bevollmächtigten, sich in allen Fragen im Zusammenhang mit der Gewährleistung der Einhaltung dieser Verordnung zusätzlich zum Dienstleistungserbringer oder an seiner Stelle an die zuständigen Behörden zu wenden.
4. Der Bevollmächtigte beendet das Mandat, wenn er der Auffassung ist oder Grund zu der Annahme hat, dass der Dienstleistungserbringer gegen seine Verpflichtungen gemäß dieser Verordnung verstößt. In einem solchen Fall unterrichtet er unverzüglich die zuständige Marktüberwachungsbehörde sowie gegebenenfalls die zuständige notifizierte Stelle über die Beendigung des Auftrags und die Gründe dafür.
Quelle öffnen
Art. 23

Pflichten der Importeure

Importeure dürfen Hochrisiko-KI nur in Verkehr bringen, wenn Anbieter, Konformitätsbewertung, technische Dokumentation, CE-Kennzeichnung, EU-Konformitätserklärung und Bevollmächtigung plausibel vorliegen. Bei Verdacht auf Nichtkonformität oder Risiko müssen sie das Inverkehrbringen stoppen, Anbieter und Behörden informieren und geeignete Korrekturmaßnahmen unterstützen.

Originaltext anzeigen
1. Bevor sie ein AI-System mit hohem Risiko in Verkehr bringen, stellen die Einführer sicher, dass das System mit dieser Verordnung übereinstimmt, indem sie prüfen, ob:
(a) das einschlägige Konformitätsbewertungsverfahren gemäß
Artikel 43
vom Anbieter des AI-Systems für gefährliche Stoffe durchgeführt wurde;
(b) der Dienstleistungserbringer hat die technischen Unterlagen gemäß
Artikel 11
und
Anhang IV
erstellt;
(c) das System ist mit der vorgeschriebenen CE-Kennzeichnung versehen, und ihm sind die EU-Konformitätserklärung gemäß
Artikel 47
sowie eine Gebrauchsanweisung beigefügt;
(d) der Dienstleistungserbringer hat einen Bevollmächtigten gemäß
Artikel 22
Absatz 1 benannt.
2. Hat ein Einführer hinreichenden Grund zu der Annahme, dass ein AI-System mit hohem Risiko nicht mit dieser Verordnung übereinstimmt, gefälscht ist oder ihm gefälschte Unterlagen beigefügt sind, darf er das System nicht in Verkehr bringen, bevor seine Konformität hergestellt ist. Stellt das AI-System mit hohem Risiko ein Risiko im Sinne von
Artikel 79
Absatz 1 dar, unterrichtet der Einführer den Anbieter des Systems, den Bevollmächtigten und die Marktüberwachungsbehörden darüber.
3. Die Einführer geben ihren Namen, ihren eingetragenen Handelsnamen oder ihre eingetragene Handelsmarke sowie ihre Kontaktanschrift auf dem AI-System für gefährliche Güter und gegebenenfalls auf der Verpackung oder den Begleitunterlagen an.
4. Solange sich ein AI-System in ihrer Verantwortung befindet, stellen die Einführer sicher, dass die Bedingungen für seine Lagerung oder seinen Transport die Erfüllung der Anforderungen gemäß Abschnitt 2 nicht beeinträchtigen.
5. Die Einführer bewahren nach dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-VI-Systems zehn Jahre lang eine Kopie der von der notifizierten Stelle ausgestellten Bescheinigung, gegebenenfalls der Gebrauchsanweisung, und der EU-Konformitätserklärung gemäß
Artikel 47
auf.
6. Die Einführer händigen den zuständigen Behörden auf begründetes Verlangen alle erforderlichen Informationen und Unterlagen, einschließlich der in Absatz 5 genannten, zum Nachweis der Konformität eines AI-Systems mit hohem Risiko mit den Anforderungen gemäß
Abschnitt 2 in einer Sprache, die sie leicht verstehen können. Zu diesem Zweck stellen sie auch sicher, dass die technischen Unterlagen diesen Behörden zur Verfügung gestellt werden können.
7. Die Einführer arbeiten mit den jeweils zuständigen Behörden bei allen Maßnahmen zusammen, die diese Behörden in Bezug auf ein von den Einführern in Verkehr gebrachtes AI-System mit hohem Risiko ergreifen, um insbesondere die damit verbundenen Risiken zu verringern und zu mindern.
Quelle öffnen
Art. 24

Pflichten des Händlers

Händler müssen vor Bereitstellung prüfen, ob Hochrisiko-KI CE-Kennzeichnung, EU-Konformitätserklärung, Gebrauchsanweisung und Anbieter-/Importeurangaben aufweist. Bei Verdacht auf Nichtkonformität dürfen sie nicht bereitstellen bzw. müssen Korrektur, Rücknahme, Rückruf und Behördeninformation veranlassen.

Originaltext anzeigen
1. Bevor sie ein AI-System für hohe Risiken auf dem Markt bereitstellen, überprüfen die Händler, ob es mit der erforderlichen CE-Kennzeichnung versehen ist, ob ihm eine Kopie der EU-Konformitätserklärung gemäß
Artikel 47
und eine Gebrauchsanweisung beigefügt sind und ob der Anbieter bzw. der Einführer dieses Systems seinen jeweiligen Verpflichtungen gemäß
Artikel 16
Buchstaben b und c und
Artikel 23
Absatz 3 nachgekommen ist.
2. Ist ein Händler der Auffassung oder hat er auf der Grundlage der ihm vorliegenden Informationen Grund zu der Annahme, dass ein AI-System mit hohem Risiko nicht mit den Anforderungen gemäß Abschnitt 2 übereinstimmt, darf er das AI-System mit hohem Risiko nicht auf dem Markt bereitstellen, bevor die Konformität des Systems mit diesen Anforderungen hergestellt worden ist. Stellt das AI-System mit hohem Risiko ein Risiko im Sinne von
Artikel 79
Absatz 1 dar, so unterrichtet der Händler außerdem den Anbieter bzw. den Einführer des Systems davon.
3. Solange sich ein AI-System mit hohem Risiko in ihrer Verantwortung befindet, stellen die Händler sicher, dass die Lagerungs- oder gegebenenfalls die Transportbedingungen die Übereinstimmung des Systems mit den Anforderungen gemäß Abschnitt 2 nicht beeinträchtigen.
4. Ein Händler, der aufgrund der ihm vorliegenden Informationen der Auffassung ist oder Grund zu der Annahme hat, dass ein von ihm auf dem Markt bereitgestelltes AI-System mit hohem Risiko nicht mit den Anforderungen nach Abschnitt 2 übereinstimmt, ergreift die erforderlichen Korrekturmaßnahmen, um die Konformität dieses Systems mit diesen Anforderungen herzustellen, es zurückzunehmen oder zurückzurufen, oder er stellt sicher, dass der Anbieter, der Einführer oder gegebenenfalls ein einschlägiges Unternehmen diese Korrekturmaßnahmen ergreift. Stellt das AI-System mit hohem Risiko ein Risiko im Sinne des
Artikels 79
Absatz 1 dar, unterrichtet der Händler unverzüglich den Anbieter oder Einführer des Systems und die für das betreffende AI-System mit hohem Risiko zuständigen Behörden und macht dabei ausführliche Angaben, insbesondere über die Nichtkonformität und die ergriffenen Korrekturmaßnahmen.
5. Auf begründetes Verlangen einer zuständigen Behörde stellen Vertreiber eines AI-Systems mit hohem Risiko dieser Behörde alle Informationen und Unterlagen über ihre Maßnahmen gemäß den Absätzen 1 bis 4 zur Verfügung, die für den Nachweis der Konformität dieses Systems mit den Anforderungen gemäß Abschnitt 2 erforderlich sind.
6. Die Händler arbeiten mit den jeweils zuständigen Behörden bei allen Maßnahmen zusammen, die diese Behörden in Bezug auf ein von den Händlern auf dem Markt bereitgestelltes AI-System mit hohem Risiko ergreifen, insbesondere um das von diesem System ausgehende Risiko zu verringern oder zu mindern.
Quelle öffnen
Art. 25

Verantwortlichkeiten entlang der KI-Wertschöpfungskette

Klärt Verantwortungswechsel in der KI-Wertschöpfungskette: Wer ein Hochrisiko-System unter eigenem Namen/Marke bereitstellt, wesentlich verändert oder den Zweck so ändert, dass Hochrisiko entsteht, wird selbst Anbieter mit Anbieterpflichten. Bisherige Anbieter müssen notwendige Informationen bereitstellen, sofern keine klare gegenteilige Vereinbarung oder Schutzrechte entgegenstehen.

Originaltext anzeigen
1. Jeder Händler, Importeur, Aufsteller oder sonstige Dritte gilt als Anbieter eines AI-Systems mit hohem Risiko im Sinne dieser Verordnung und unterliegt den Verpflichtungen des Anbieters gemäß
Artikel 16
, wenn einer der folgenden Umstände vorliegt:
(a) sie ihren Namen oder ihre Marke auf einem bereits in Verkehr gebrachten oder in Betrieb genommenen AI-System mit hohem Risiko anbringen, unbeschadet vertraglicher Vereinbarungen, die eine andere Aufteilung der Verpflichtungen vorsehen;
(b) sie nehmen eine wesentliche Änderung an einem bereits in Verkehr gebrachten oder in Betrieb genommenen AI-System vor, so dass es ein AI-System mit hohem Risiko im Sinne von
Artikel 6
bleibt;
(c) den Verwendungszweck eines nicht als risikoreich eingestuften und bereits in Verkehr gebrachten oder in Betrieb genommenen KI-Systems, einschließlich eines KI-Systems für allgemeine Zwecke, so verändern, dass das betreffende KI-System zu einem risikoreichen KI-System im Sinne von
Artikel 6
wird.
2. Tritt der in Absatz 1 genannte Fall ein, so gilt der Anbieter, der das KI-System ursprünglich in Verkehr gebracht oder in Betrieb genommen hat, für die Zwecke dieser Verordnung nicht mehr als Anbieter dieses spezifischen KI-Systems. Der ursprüngliche Anbieter arbeitet eng mit den neuen Anbietern zusammen und stellt die erforderlichen Informationen zur Verfügung und gewährt den vernünftigerweise zu erwartenden technischen Zugang und sonstige Unterstützung, die für die Erfüllung der in dieser Verordnung festgelegten Verpflichtungen erforderlich sind, insbesondere hinsichtlich der Einhaltung der Konformitätsbewertung von AI-Systemen mit hohem Risiko. Dieser Absatz gilt nicht in Fällen, in denen der ursprüngliche Anbieter eindeutig angegeben hat, dass sein KI-System nicht in ein KI-System mit hohem Risiko umgewandelt werden soll, und daher nicht zur Übergabe der Dokumentation verpflichtet ist.
3. Bei AI-Systemen mit hohem Risiko, die Sicherheitsbauteile von Produkten sind, die unter die in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, gilt der Produkthersteller als Anbieter des AI-Systems mit hohem Risiko und unterliegt den Verpflichtungen gemäß
Artikel 16
, wenn einer der folgenden Umstände vorliegt:
(a) Das Hochrisiko-KI-System wird zusammen mit dem Produkt unter dem Namen oder der Marke des Produktherstellers in Verkehr gebracht;
(b) das Hochrisiko-KI-System wird unter dem Namen oder der Marke des Produktherstellers in Betrieb genommen, nachdem das Produkt in Verkehr gebracht wurde.
4. Der Anbieter eines KI-Systems mit hohem Risiko und der Dritte, der ein KI-System, Werkzeuge, Dienste, Komponenten oder Verfahren bereitstellt, die in einem KI-System mit hohem Risiko verwendet oder integriert werden, legen in einer schriftlichen Vereinbarung die erforderlichen Informationen, Fähigkeiten, den technischen Zugang und sonstige Unterstützung auf der Grundlage des allgemein anerkannten Stands der Technik fest, damit der Anbieter des KI-Systems mit hohem Risiko den in dieser Verordnung festgelegten Verpflichtungen in vollem Umfang nachkommen kann. Dieser Absatz gilt nicht für Dritte, die der Öffentlichkeit Werkzeuge, Dienste, Verfahren oder Komponenten, die keine KI-Modelle für allgemeine Zwecke sind, unter einer freien und quelloffenen Lizenz zugänglich machen. Das Amt für Künstliche Intelligenz kann freiwillige Musterklauseln für Verträge zwischen Anbietern von KI-Systemen mit hohem Risiko und Dritten, die Werkzeuge, Dienste, Komponenten oder Verfahren liefern, die für KI-Systeme mit hohem Risiko verwendet oder in diese integriert werden, entwickeln und empfehlen. Bei der Ausarbeitung dieser freiwilligen Musterklauseln berücksichtigt das KI-Büro mögliche vertragliche Anforderungen, die in bestimmten Sektoren oder Geschäftsfällen gelten. Die freiwilligen Musterbedingungen werden veröffentlicht und sind in einem leicht nutzbaren elektronischen Format kostenlos erhältlich.
Verwandt: Erwägungsgründe
88
,
89
, und
90
5. Die Absätze 2 und 3 berühren nicht die Notwendigkeit, Rechte des geistigen Eigentums, vertrauliche Geschäftsinformationen und Geschäftsgeheimnisse im Einklang mit dem Unionsrecht und dem nationalen Recht zu beachten und zu schützen.
Quelle öffnen
Art. 26

Pflichten der Betreiber von KI-Systemen mit hohem Risiko

Legt Betreiberpflichten für Hochrisiko-KI fest: Nutzung nach Anleitung, qualifizierte menschliche Aufsicht, Kontrolle relevanter Eingabedaten, laufendes Monitoring, Aussetzen bei Risiko, Meldung schwerwiegender Vorfälle, Log-Aufbewahrung, Datenschutz-Folgenabschätzung soweit nötig und Information betroffener Arbeitnehmer bzw. Personen bei bestimmten Hochrisiko-Entscheidungen.

Originaltext anzeigen
1. Die Betreiber von AI-Systemen mit hohem Risiko treffen geeignete technische und organisatorische Maßnahmen, um sicherzustellen, dass sie diese Systeme gemäß den den Systemen beigefügten Gebrauchsanweisungen nach den Absätzen 3 und 6 verwenden.
2. Die Einsatzkräfte beauftragen natürliche Personen, die über die erforderliche Befähigung, Ausbildung und Autorität verfügen und die notwendige Unterstützung erhalten.
3. (4) Die in den Absätzen 1 und 2 genannten Verpflichtungen lassen andere Verpflichtungen des Einsatzmittels nach dem Unionsrecht oder dem nationalen Recht sowie die Freiheit des Einsatzmittels, seine eigenen Ressourcen und Tätigkeiten zur Durchführung der vom Dienstleistungserbringer angegebenen Maßnahmen der menschlichen Aufsicht zu organisieren, unberührt.
4. (3) Unbeschadet der Absätze 1 und 2 stellt der Betreiber in dem Maße, in dem er die Kontrolle über die Eingabedaten ausübt, sicher, dass die Eingabedaten im Hinblick auf den beabsichtigten Zweck des AI-Systems für hohe Risiken relevant und ausreichend repräsentativ sind.
5. Die Einsatzstellen überwachen den Betrieb des KI-Systems mit hohem Risiko auf der Grundlage der Gebrauchsanweisung und unterrichten gegebenenfalls die Anbieter gemäß
Artikel 72
. Haben Betreiber Grund zu der Annahme, dass die Verwendung des AI-Systems mit hohem Risiko gemäß den Anweisungen dazu führen kann, dass dieses AI-System ein Risiko im Sinne von
Artikel 79
Absatz 1 darstellt, so unterrichten sie unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung dieses Systems aus. Haben Betreiber einen schwerwiegenden Vorfall festgestellt, so unterrichten sie ebenfalls unverzüglich zunächst den Anbieter und dann den Einführer oder Händler sowie die zuständigen Marktüberwachungsbehörden über diesen Vorfall. Ist der Betreiber nicht in der Lage, den Anbieter zu erreichen, so gilt
Artikel 73
entsprechend. Diese Verpflichtung gilt nicht für sensible Betriebsdaten von Betreibern von KI-Systemen, die Strafverfolgungsbehörden sind. Für Betreiber, bei denen es sich um Finanzinstitute handelt, die nach dem Finanzdienstleistungsrecht der Union Anforderungen in Bezug auf ihre internen Governance-Regelungen, -Vorkehrungen oder -Verfahren unterliegen, gilt die in Unterabsatz 1 genannte Überwachungspflicht als erfüllt, wenn sie die Vorschriften über interne Governance-Regelungen, -Verfahren und -Mechanismen gemäß dem einschlägigen Finanzdienstleistungsrecht einhalten.
6. Die Betreiber von KI-Systemen mit hohem Risiko bewahren die von diesem KI-System mit hohem Risiko automatisch erstellten Protokolle, soweit sie sich in ihrem Einflussbereich befinden, während eines dem Verwendungszweck des KI-Systems mit hohem Risiko angemessenen Zeitraums von mindestens sechs Monaten auf, sofern im geltenden Unionsrecht oder im nationalen Recht, insbesondere im Unionsrecht zum Schutz personenbezogener Daten, nichts anderes vorgesehen ist. Betreiber, bei denen es sich um Finanzinstitute handelt, die Anforderungen in Bezug auf ihre interne Governance, Regelungen oder Verfahren nach dem Finanzdienstleistungsrecht der Union unterliegen, bewahren die Protokolle als Teil der gemäß dem einschlägigen Finanzdienstleistungsrecht der Union geführten Dokumentation auf.
7. Vor der Inbetriebnahme oder dem Einsatz eines AI-Systems für hohe Risiken am Arbeitsplatz unterrichtet der Betreiber, der Arbeitgeber ist, die Arbeitnehmervertreter und die betroffenen Arbeitnehmer darüber, dass sie dem Einsatz des AI-Systems für hohe Risiken ausgesetzt sein werden. Diese Unterrichtung erfolgt gegebenenfalls gemäß den Vorschriften und Verfahren, die in den Rechtsvorschriften und Praktiken der Union und der Mitgliedstaaten zur Unterrichtung der Arbeitnehmer und ihrer Vertreter festgelegt sind.
8. Betreiber von KI-Systemen mit hohem Risiko, bei denen es sich um Behörden oder Organe, Einrichtungen, Ämter oder Agenturen der Union handelt, kommen den Registrierungspflichten gemäß
Artikel 49
nach. Stellen solche Betreiber fest, dass das von ihnen geplante Hochrisiko-KI-System nicht in der EU-Datenbank gemäß
Artikel 71
registriert ist, dürfen sie dieses System nicht verwenden und müssen den Anbieter oder den Händler davon in Kenntnis setzen.
9. Gegebenenfalls verwenden die Betreiber von KI-Systemen mit hohem Risiko die gemäß
Artikel 13
dieser Verordnung bereitgestellten Informationen, um ihrer Verpflichtung zur Durchführung einer Datenschutz-Folgenabschätzung gemäß Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 nachzukommen.
10. Unbeschadet der Richtlinie (EU) 2016/680 beantragt der Betreiber eines KI-Hochrisikosystems für die biometrische Identifizierung im Nachhinein im Rahmen von Ermittlungen zur gezielten Durchsuchung einer Person, die im Verdacht steht, eine Straftat begangen zu haben, oder die der Begehung einer Straftat überführt wurde, im Voraus eine Genehmigung, oder unverzüglich, spätestens jedoch innerhalb von 48 Stunden, bei einer Justizbehörde oder einer Verwaltungsbehörde, deren Entscheidung verbindlich ist und gerichtlich überprüft werden kann, eine Genehmigung für die Verwendung dieses Systems, es sei denn, es wird für die erste Identifizierung eines potenziellen Verdächtigen auf der Grundlage objektiver und überprüfbarer Tatsachen, die in direktem Zusammenhang mit der Straftat stehen, verwendet. Jede Verwendung ist auf das für die Ermittlungen zu einer bestimmten Straftat unbedingt erforderliche Maß zu beschränken. Wird die nach Unterabsatz 1 beantragte Genehmigung abgelehnt, so wird die Nutzung des biometrischen Post-Remote-Identifizierungssystems im Zusammenhang mit der beantragten Genehmigung mit sofortiger Wirkung eingestellt, und die personenbezogenen Daten im Zusammenhang mit der Nutzung des Hochrisiko-AI-Systems, für das die Genehmigung beantragt wurde, werden gelöscht. In keinem Fall darf ein solches Hochrisiko-KI-System für die biometrische Identifizierung im Fernverfahren für Strafverfolgungszwecke ungezielt und ohne jeglichen Zusammenhang mit einer Straftat, einem Strafverfahren, einer tatsächlichen und gegenwärtigen oder tatsächlichen und vorhersehbaren Gefahr einer Straftat oder der Suche nach einer bestimmten vermissten Person verwendet werden. Es ist sicherzustellen, dass die Strafverfolgungsbehörden keine Entscheidung mit nachteiligen rechtlichen Folgen für eine Person allein auf der Grundlage der Ergebnisse solcher biometrischen Post-Fern-Identifizierungssysteme treffen können. Dieser Absatz gilt unbeschadet des Artikels 9 der Verordnung (EU) 2016/679 und des Artikels 10 der Richtlinie (EU) 2016/680 für die Verarbeitung biometrischer Daten. Ungeachtet des Zwecks oder des Anwenders wird jede Verwendung solcher KI-Systeme mit hohem Risiko in der einschlägigen Polizeiakte dokumentiert und der zuständigen Marktaufsichtsbehörde und der nationalen Datenschutzbehörde auf Anfrage zur Verfügung gestellt, wobei die Offenlegung sensibler operativer Daten im Zusammenhang mit der Strafverfolgung ausgeschlossen ist. Dieser Unterabsatz berührt nicht die Befugnisse, die den Aufsichtsbehörden durch die Richtlinie (EU) 2016/680 übertragen werden. Die Betreiber legen den zuständigen Marktüberwachungs- und nationalen Datenschutzbehörden Jahresberichte über die Verwendung von biometrischen Post-Remote-Identifizierungssystemen vor, mit Ausnahme der Offenlegung sensibler operativer Daten im Zusammenhang mit der Strafverfolgung. Die Berichte können zusammengefasst werden, um mehr als einen Einsatz zu erfassen. Die Mitgliedstaaten können im Einklang mit dem Unionsrecht restriktivere Rechtsvorschriften für die Verwendung von biometrischen Post-Fern-Identifizierungssystemen einführen.
und
Erwägungsgrund 95
11. Unbeschadet des
Artikels 50
dieser Verordnung unterrichten die Betreiber der in
Anhang III
genannten KI-Systeme mit hohem Risiko, die Entscheidungen in Bezug auf natürliche Personen treffen oder an solchen Entscheidungen mitwirken, die natürlichen Personen darüber, dass sie dem Einsatz des KI-Systems mit hohem Risiko ausgesetzt sind. Für KI-Systeme mit hohem Risiko, die zu Strafverfolgungszwecken eingesetzt werden, gilt Artikel 13 der Richtlinie (EU) 2016/680.
12. Die Einsatzstellen arbeiten mit den jeweils zuständigen Behörden bei allen Maßnahmen zusammen, die diese Behörden im Zusammenhang mit dem AI-System für hohe Risiken zur Durchführung dieser Verordnung treffen.
Quelle öffnen
Art. 27

Grundrechtliche Folgenabschätzung für hochriskante KI-Systeme

Verlangt vor dem ersten Einsatz bestimmter Hochrisiko-KI eine Grundrechte-Folgenabschätzung, insbesondere für öffentliche Stellen, private Erbringer öffentlicher Dienste und bestimmte Kredit-/Versicherungsfälle. Sie muss Zweck, Dauer, betroffene Gruppen, Schadensrisiken, menschliche Aufsicht, Gegenmaßnahmen, Governance und Beschwerdemechanismen dokumentieren und der Marktüberwachungsbehörde gemeldet werden.

Originaltext anzeigen
1. Vor dem Einsatz eines in
Artikel 6
Absatz 2 genannten, mit hohem Risiko behafteten KI-Systems - mit Ausnahme von mit hohem Risiko behafteten KI-Systemen, die in dem in
Anhang III
Nummer 2 aufgeführten Bereich eingesetzt werden sollen - führen die Einsatzstellen, bei denen es sich um Einrichtungen des öffentlichen Rechts oder um private Stellen handelt, die öffentliche Dienstleistungen erbringen, sowie die Einsatzstellen von mit hohem Risiko behafteten KI-Systemen im Sinne von
Anhang III
Nummer 5 Buchstaben b und c eine Bewertung der Auswirkungen durch, die der Einsatz eines solchen Systems auf die Grundrechte haben kann. Zu diesem Zweck führen die Betreiber eine Bewertung durch, die Folgendes umfasst:
(a) eine Beschreibung der Verfahren des Betreibers, in denen das Hochrisiko-KI-System entsprechend seinem vorgesehenen Zweck eingesetzt wird;
(b) eine Beschreibung des Zeitraums und der Häufigkeit, in dem bzw. mit der jedes AI-System für hohe Risiken eingesetzt werden soll;
(c) die Kategorien natürlicher Personen und Gruppen, die von der Verwendung in dem jeweiligen Kontext betroffen sein könnten;
(d) die spezifischen Schadensrisiken, die sich auf die gemäß Buchstabe c dieses Absatzes ermittelten Kategorien natürlicher Personen oder Personengruppen auswirken können, wobei die vom Dienstleistungserbringer gemäß
Artikel 13
erteilten Informationen zu berücksichtigen sind;
(e) eine Beschreibung der Durchführung von Überwachungsmaßnahmen für Menschen gemäß der Gebrauchsanweisung;
(f) die Maßnahmen, die im Falle des Eintretens dieser Risiken zu ergreifen sind, einschließlich der Regelungen für die interne Steuerung und die Beschwerdemechanismen.
2. Die Verpflichtung nach Absatz 1 gilt für den ersten Einsatz des Hochrisiko-KI-Systems. Der Einsatzbetrieb kann sich in ähnlichen Fällen auf zuvor durchgeführte Grundrechtsverträglichkeitsprüfungen oder bestehende Folgenabschätzungen des Anbieters stützen. Stellt der Betreiber während der Nutzung des Hochrisiko-KI-Systems fest, dass sich eines der in Absatz 1 aufgeführten Elemente geändert hat oder nicht mehr aktuell ist, ergreift er die erforderlichen Maßnahmen zur Aktualisierung der Informationen.
3. Nach Durchführung der in Absatz 1 des vorliegenden Artikels genannten Bewertung teilt der Betreiber der Marktüberwachungsbehörde die Ergebnisse mit und legt dabei das ausgefüllte Formblatt gemäß Absatz 5 des vorliegenden Artikels vor. In dem in
Artikel 46
Absatz 1 genannten Fall kann der Betreiber von dieser Meldepflicht befreit werden.
4. Wird eine der in diesem Artikel festgelegten Verpflichtungen bereits durch die gemäß Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 durchgeführte Datenschutz-Folgenabschätzung erfüllt, so ergänzt die in Absatz 1 des vorliegenden Artikels genannte Grundrechtsfolgenabschätzung diese Datenschutz-Folgenabschätzung.
5. Das AI-Büro entwickelt eine Vorlage für einen Fragebogen, auch in Form eines automatisierten Instruments, um es den Entsendern zu erleichtern, ihren Verpflichtungen nach diesem Artikel auf vereinfachte Weise nachzukommen.
Quelle öffnen
Art. 28

Notifizierende Behörden

Verpflichtet Mitgliedstaaten, notifizierende Behörden für Konformitätsbewertungsstellen einzurichten oder zu benennen. Diese Behörden bewerten, benennen, notifizieren und überwachen benannte Stellen und müssen objektiv, unparteiisch, kompetent und frei von Interessenkonflikten arbeiten.

Originaltext anzeigen
1. Jeder Mitgliedstaat benennt oder errichtet mindestens eine notifizierende Behörde, die für die Einrichtung und Durchführung der erforderlichen Verfahren für die Begutachtung, Benennung und Notifizierung von Konformitätsbewertungsstellen sowie für deren Überwachung zuständig ist. Diese Verfahren werden in Zusammenarbeit zwischen den notifizierenden Behörden aller Mitgliedstaaten entwickelt.
2. Die Mitgliedstaaten können beschließen, dass die in Absatz 1 genannte Bewertung und Überwachung von einer nationalen Akkreditierungsstelle im Sinne und im Einklang mit der Verordnung (EG) Nr. 765/2008 durchgeführt wird.
3. Die notifizierenden Behörden werden so eingerichtet, aufgebaut und verwaltet, dass es zu keinerlei Interessenkonflikt mit den Konformitätsbewertungsstellen kommt und dass die Objektivität und Unparteilichkeit ihrer Tätigkeit gewährleistet ist.
4. Die notifizierenden Behörden werden so strukturiert, dass Entscheidungen über die Notifizierung von Konformitätsbewertungsstellen von kompetenten Personen getroffen werden, die nicht mit den Personen identisch sind, welche die Bewertung dieser Stellen durchgeführt haben.
5. Die notifizierenden Behörden dürfen weder Tätigkeiten, die Konformitätsbewertungsstellen durchführen, noch Beratungsdienste auf kommerzieller oder wettbewerblicher Basis anbieten oder erbringen.
6. Die notifizierenden Behörden wahren die Vertraulichkeit der von ihnen erlangten Informationen nach Maßgabe des
Artikels 78
.
7. Den notifizierenden Behörden steht eine angemessene Zahl kompetenter Mitarbeiter zur Verfügung, damit sie ihre Aufgaben ordnungsgemäß wahrnehmen können. Die zuständigen Mitarbeiter verfügen gegebenenfalls über das für ihre Funktion erforderliche Fachwissen in Bereichen wie Informationstechnologie, künstliche Intelligenz und Recht, einschließlich der Überwachung der Grundrechte.
Quelle öffnen
Art. 29

Antrag einer Konformitätsbewertungsstelle auf Notifizierung

Beschreibt den Antrag einer Konformitätsbewertungsstelle auf Notifizierung. Der Antrag muss Tätigkeiten, Konformitätsbewertungsmodule, betroffene KI-Arten und Kompetenznachweise enthalten; Akkreditierungsnachweise können die Bewertung erleichtern.

Originaltext anzeigen
1. Die Konformitätsbewertungsstellen beantragen ihre Notifizierung bei der notifizierenden Behörde des Mitgliedstaats, in dem sie ansässig sind.
2. Dem Antrag auf Notifizierung ist eine Beschreibung der Konformitätsbewertungstätigkeiten, des/der Konformitätsbewertungsmoduls/-e und der Arten von KI-Systemen, für die die Konformitätsbewertungsstelle Kompetenz beansprucht, sowie gegebenenfalls eine Akkreditierungsurkunde beizufügen, die von einer nationalen Akkreditierungsstelle ausgestellt wurde und in der diese bescheinigt, dass die Konformitätsbewertungsstelle die Anforderungen nach
Artikel 31
erfüllt. Alle gültigen Dokumente im Zusammenhang mit bestehenden Benennungen der antragstellenden notifizierten Stelle im Rahmen anderer Harmonisierungsrechtsvorschriften der Union werden hinzugefügt.
3. Kann die betreffende Konformitätsbewertungsstelle keine Akkreditierungsurkunde vorweisen, legt sie der notifizierenden Behörde alle Unterlagen vor, die erforderlich sind, um zu überprüfen, festzustellen und regelmäßig zu überwachen, ob sie die Anforderungen von
Artikel 31
erfüllt.
4. Bei benannten Stellen, die im Rahmen anderer Harmonisierungsrechtsvorschriften der Union benannt wurden, können alle Dokumente und Bescheinigungen im Zusammenhang mit diesen Benennungen gegebenenfalls zur Unterstützung ihres Benennungsverfahrens im Rahmen dieser Verordnung verwendet werden. Die benannte Stelle aktualisiert die in den Absätzen 2 und 3 des vorliegenden Artikels genannten Unterlagen bei jeder relevanten Änderung, damit die für benannte Stellen zuständige Behörde die kontinuierliche Erfüllung aller in
Artikel 31
festgelegten Anforderungen überwachen und überprüfen kann.
Quelle öffnen
Art. 30

Notifizierungsverfahren

Regelt das Notifizierungsverfahren gegenüber Kommission und Mitgliedstaaten. Nur Stellen, die die Anforderungen erfüllen, dürfen notifiziert werden; Einwände sind innerhalb festgelegter Fristen möglich und ohne Einwände darf die Stelle als benannte Stelle tätig werden.

Originaltext anzeigen
1. Die notifizierenden Behörden dürfen nur Konformitätsbewertungsstellen notifizieren, die die in
Artikel 31
festgelegten Anforderungen erfüllen.
2. Die notifizierenden Behörden notifizieren der Kommission und den übrigen Mitgliedstaaten jede Konformitätsbewertungsstelle gemäß Absatz 1 unter Verwendung des von der Kommission entwickelten und verwalteten elektronischen Notifizierungsinstruments.
3. Die Notifizierung gemäß Absatz 2 des vorliegenden Artikels enthält vollständige Angaben zu den Konformitätsbewertungstätigkeiten, dem/den Konformitätsbewertungsmodul(en), den betreffenden Arten von KI-Systemen und der jeweiligen Kompetenzbescheinigung. (4) Stützt sich eine Notifizierung nicht auf eine Akkreditierungsurkunde gemäß
Artikel 29
Absatz 2, so legt die notifizierende Behörde der Kommission und den übrigen Mitgliedstaaten Unterlagen vor, aus denen die Kompetenz der Konformitätsbewertungsstelle und die getroffenen Vorkehrungen hervorgehen, mit denen sichergestellt wird, dass diese Stelle regelmäßig überwacht wird und weiterhin die Anforderungen nach
Artikel 31
erfüllt.
4. Die betreffende Konformitätsbewertungsstelle darf die Tätigkeiten einer notifizierten Stelle nur dann ausüben, wenn weder die Kommission noch die übrigen Mitgliedstaaten innerhalb von zwei Wochen nach der Notifizierung durch eine notifizierende Behörde, wenn diese eine Akkreditierungsurkunde gemäß
Artikel 29
Absatz 2 enthält, oder innerhalb von zwei Monaten nach der Notifizierung durch die notifizierende Behörde, wenn diese einen Nachweis gemäß
Artikel 29
Absatz 3 enthält, Einwände erhoben haben.
5. Werden Einwände erhoben, so nimmt die Kommission unverzüglich Konsultationen mit den betreffenden Mitgliedstaaten und der Konformitätsbewertungsstelle auf. Auf dieser Grundlage entscheidet die Kommission, ob die Zulassung gerechtfertigt ist. Die Kommission richtet ihre Entscheidung an den betreffenden Mitgliedstaat und an die betreffende Konformitätsbewertungsstelle.
Quelle öffnen
Art. 31

Anforderungen an die benannten Stellen

Legt Anforderungen an benannte Stellen fest: Rechtspersönlichkeit, Unabhängigkeit, Fachkompetenz, ausreichende Ressourcen, Geheimhaltung, Haftpflichtdeckung und unparteiische Verfahren. Sie müssen technische, rechtliche und organisatorische Kompetenz für Hochrisiko-KI nachweisen und Interessenkonflikte vermeiden.

Originaltext anzeigen
1. Eine notifizierte Stelle wird nach dem nationalen Recht eines Mitgliedstaats eingerichtet und besitzt Rechtspersönlichkeit.
2. Die benannten Stellen müssen die für die Erfüllung ihrer Aufgaben erforderlichen Anforderungen an Organisation, Qualitätsmanagement, Ressourcen und Verfahren sowie geeignete Anforderungen an die Cybersicherheit erfüllen.
3. Die Organisationsstruktur, die Zuweisung von Zuständigkeiten, die Berichtslinien und die Arbeitsweise der benannten Stellen müssen das Vertrauen in ihre Leistung und in die Ergebnisse der von ihnen durchgeführten Konformitätsbewertungstätigkeiten gewährleisten.
4. Die notifizierten Stellen müssen von dem Anbieter eines AI-Systems mit hohem Risiko, für das sie Konformitätsbewertungstätigkeiten durchführen, unabhängig sein. Die benannten Stellen müssen auch von allen anderen Akteur, die ein wirtschaftliches Interesse an den bewerteten AI-Systemen mit hohem Risiko haben, sowie von allen Wettbewerbern des Anbieters unabhängig sein. Dies schließt weder die Verwendung von bewerteten AI-Systemen mit hohem Risiko, die für die Tätigkeit der Konformitätsbewertungsstelle erforderlich sind, noch die Verwendung solcher AI-Systeme mit hohem Risiko für persönliche Zwecke aus.
5. Weder eine Konformitätsbewertungsstelle, noch ihre oberste Leitungsebene oder die für die Erfüllung ihrer Konformitätsbewertungsaufgaben zuständigen Mitarbeiter dürfen direkt an Entwurf, Entwicklung, Vermarktung oder Verwendung von AI-Systemen mit hohem Risiko beteiligt sein, noch dürfen sie die an diesen Tätigkeiten beteiligten Parteien vertreten. Sie dürfen sich nicht mit Tätigkeiten befassen, die ihre Unabhängigkeit bei der Beurteilung oder ihre Integrität in Bezug auf die Konformitätsbewertungstätigkeiten, für die sie benannt sind, beeinträchtigen könnten. Dies gilt insbesondere für Beratungsdienstleistungen.
6. Die benannten Stellen müssen so organisiert sein und betrieben werden, dass die Unabhängigkeit, Objektivität und Unparteilichkeit ihrer Tätigkeiten gewährleistet ist. Die benannten Stellen dokumentieren und implementieren eine Struktur und Verfahren zur Gewährleistung der Unparteilichkeit und zur Förderung und Anwendung der Grundsätze der Unparteilichkeit in ihrer gesamten Organisation, ihrem Personal und ihren Bewertungstätigkeiten.
7. Die notifizierten Stellen verfügen über dokumentierte Verfahren, mit denen sichergestellt wird, dass ihre Mitarbeiter, Ausschüsse, Zweigstellen, Unterauftragnehmer und alle mit ihnen verbundenen Stellen sowie die Mitarbeiter externer Stellen die Vertraulichkeit der Informationen, die ihnen bei der Durchführung von Konformitätsbewertungstätigkeiten bekannt werden, gemäß
Artikel 78
wahren, es sei denn, ihre Offenlegung ist gesetzlich vorgeschrieben. Das Personal der notifizierten Stellen unterliegt hinsichtlich aller Informationen, von denen es bei der Durchführung seiner Aufgaben gemäß dieser Verordnung Kenntnis erhält, der beruflichen Schweigepflicht, außer gegenüber den notifizierenden Behörden des Mitgliedstaats, in dem es seine Tätigkeiten ausübt.
8. Die benannten Stellen verfügen über Verfahren für die Durchführung von Tätigkeiten, die der Größe eines Anbieters, dem Sektor, in dem er tätig ist, seiner Struktur und dem Grad der Komplexität des betreffenden AI-Systems angemessen Rechnung tragen.
9. Die notifizierten Stellen schließen für ihre Konformitätsbewertungstätigkeiten eine angemessene Haftpflichtversicherung ab, es sei denn, die Haftung wird von dem Mitgliedstaat übernommen, in dem sie gemäß den nationalen Rechtsvorschriften niedergelassen sind, oder dieser Mitgliedstaat ist selbst unmittelbar für die Konformitätsbewertung verantwortlich.
10. Die notifizierten Stellen müssen in der Lage sein, alle ihnen im Rahmen dieser Verordnung übertragenen Aufgaben mit höchster beruflicher Zuverlässigkeit und der erforderlichen fachlichen Kompetenz auszuführen, unabhängig davon, ob diese Aufgaben von den notifizierten Stellen selbst oder in ihrem Auftrag und unter ihrer Verantwortung wahrgenommen werden.
11. Die benannten Stellen müssen über ausreichende interne Kompetenzen verfügen, um die von externen Stellen in ihrem Auftrag durchgeführten Aufgaben wirksam bewerten zu können. Die benannte Stelle verfügt ständig über ausreichendes administratives, technisches, juristisches und wissenschaftliches Personal, das über Erfahrungen und Kenntnisse in Bezug auf die relevanten Arten von KI-Systemen, Daten und Datenverarbeitung sowie die in Abschnitt 2 genannten Anforderungen verfügt.
12. Die benannten Stellen beteiligen sich an den in
Artikel 38
genannten Koordinierungstätigkeiten. Sie beteiligen sich auch direkt an den europäischen Normungsorganisationen oder sind dort vertreten oder stellen sicher, dass sie über die einschlägigen Normen informiert und auf dem neuesten Stand sind.
Quelle öffnen
Art. 32

Vermutung der Konformität mit den Anforderungen in Bezug auf benannte Stellen

Führt eine Konformitätsvermutung für benannte Stellen ein, wenn sie einschlägige harmonisierte Normen oder Teile davon erfüllen. Das erleichtert den Nachweis, ersetzt aber nur die abgedeckten Anforderungen.

Originaltext anzeigen
Weist eine Konformitätsbewertungsstelle nach, dass sie die Kriterien der einschlägigen harmonisierten Normen oder Teilen davon erfüllt, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht worden sind, so wird vermutet, dass sie die Anforderungen nach
Artikel 31
erfüllt, soweit die anwendbaren harmonisierten Normen diese Anforderungen abdecken.
Quelle öffnen
Art. 33

Zweigstellen der benannten Stellen und Vergabe von Unteraufträgen

Erlaubt Unteraufträge oder Zweigstellen benannter Stellen nur, wenn diese dieselben Anforderungen erfüllen und die notifizierte Stelle voll verantwortlich bleibt. Auftraggeber müssen informiert werden, Unterlagen bleiben für Behörden verfügbar.

Originaltext anzeigen
1. Vergibt eine notifizierte Stelle bestimmte mit der Konformitätsbewertung verbundene Aufgaben an Unterauftragnehmer oder überträgt sie diese einem Zweigunternehmen, stellt sie sicher, dass der Unterauftragnehmer oder das Zweigunternehmen die Anforderungen von
Artikel 31
erfüllt, und unterrichtet die notifizierende Behörde entsprechend.
2. Die benannten Stellen übernehmen die volle Verantwortung für die von Unterauftragnehmern oder Zweigunternehmen ausgeführten Aufgaben.
3. Tätigkeiten dürfen nur mit Zustimmung des Dienstleistungserbringers an Unterauftragnehmer vergeben oder von einem Zweigunternehmen ausgeführt werden. Die benannten Stellen machen eine Liste ihrer Zweigstellen öffentlich zugänglich.
4. Die einschlägigen Unterlagen zur Bewertung der Qualifikation des Unterauftragnehmers oder des Zweigunternehmens und der von ihnen gemäß dieser Verordnung ausgeführten Arbeiten sind für einen Zeitraum von fünf Jahren nach Beendigung des Unterauftrags für die notifizierende Behörde bereitzuhalten.
Quelle öffnen
Art. 34

Operative Verpflichtungen der benannten Stellen

Regelt operative Pflichten benannter Stellen bei Konformitätsbewertungen. Sie prüfen Hochrisiko-KI nach Artikel 43, vermeiden unnötige Belastung, berücksichtigen KMU, überwachen Zertifikate, verlangen Korrekturen und können Bescheinigungen aussetzen, einschränken oder widerrufen.

Originaltext anzeigen
1. Die benannten Stellen überprüfen die Konformität von AI-Systemen mit hohem Risiko gemäß den Konformitätsbewertungsverfahren nach
Artikel 43
.
2. Die benannten Stellen vermeiden bei der Ausübung ihrer Tätigkeit unnötige Belastungen für die Anbieter und tragen der Größe des Anbieters, dem Sektor, in dem er tätig ist, seiner Struktur und dem Grad der Komplexität des betreffenden AI-Systems für hohe Risiken gebührend Rechnung, insbesondere im Hinblick auf die Minimierung des Verwaltungsaufwands und der Befolgungskosten für Kleinst- und Kleinunternehmen im Sinne der Empfehlung 2003/361/EG. Die benannte Stelle muss jedoch das Maß an Strenge und das Schutzniveau einhalten, das für die Übereinstimmung des AI-Systems mit hohem Risiko mit den Anforderungen dieser Verordnung erforderlich ist.
3. Die notifizierten Stellen stellen der in
Artikel 28
genannten notifizierenden Behörde alle einschlägigen Unterlagen, einschließlich der Unterlagen der Dienstleistungserbringer, zur Verfügung und legen sie ihr auf Verlangen vor, damit diese Behörde ihre Bewertungs-, Benennungs-, Notifizierungs- und Überwachungstätigkeiten durchführen und die in diesem Abschnitt beschriebene Bewertung erleichtern kann.
Quelle öffnen
Art. 35

Kennnummern und Verzeichnisse der benannten Stellen

Regelt Kennnummern und Verzeichnisse benannter Stellen. Die Kommission weist eindeutige Nummern zu und führt eine öffentliche Liste mit Aufgabenbereichen, damit Marktteilnehmer und Behörden zuständige Stellen identifizieren können.

Originaltext anzeigen
1. Die Kommission weist jeder notifizierten Stelle eine einzige Kennnummer zu, auch wenn eine Stelle im Rahmen mehrerer Rechtsakte der Union notifiziert wurde.
2. Die Kommission macht das Verzeichnis der nach dieser Verordnung notifizierten Stellen unter Angabe ihrer Kennnummern und der Tätigkeiten, für die sie notifiziert wurden, öffentlich zugänglich. Die Kommission stellt sicher, dass das Verzeichnis auf dem neuesten Stand gehalten wird.
Quelle öffnen
Art. 36

Änderungen der Notifizierungen

Verlangt Meldung aller relevanten Änderungen einer Notifizierung. Wenn eine benannte Stelle Anforderungen nicht mehr erfüllt, muss die notifizierende Behörde die Notifizierung einschränken, aussetzen oder zurückziehen und Kommission sowie Mitgliedstaaten informieren.

Originaltext anzeigen
1. Die notifizierende Behörde teilt der Kommission und den übrigen Mitgliedstaaten über das in
Artikel 30
Absatz 2 genannte elektronische Notifizierungsinstrument alle einschlägigen Änderungen der Notifizierung einer notifizierten Stelle mit.
2. Für die Erweiterung des Geltungsbereichs der Anmeldung gelten die Verfahren nach den
Artikeln 29
und
30
. Für andere Änderungen der Anmeldung als Erweiterungen ihres Anwendungsbereichs gelten die Verfahren nach den Absätzen 3 bis 9.
3. Beschließt eine notifizierte Stelle, ihre Konformitätsbewertungstätigkeit einzustellen, so unterrichtet sie die notifizierende Behörde und die betreffenden Anbieter darüber so bald wie möglich, im Falle einer geplanten Einstellung jedoch mindestens ein Jahr vor der Einstellung ihrer Tätigkeit. Die Bescheinigungen der notifizierten Stelle können nach Einstellung ihrer Tätigkeit noch neun Monate lang gültig bleiben, sofern eine andere notifizierte Stelle schriftlich bestätigt hat, dass sie die Verantwortung für die unter diese Bescheinigungen fallenden AI-Systeme mit hohem Risiko übernehmen wird. Die letztgenannte benannte Stelle schließt bis zum Ende dieses Neunmonatszeitraums eine vollständige Bewertung der betroffenen AI-Hochrisikosysteme ab, bevor sie neue Bescheinigungen für diese Systeme ausstellt. Hat die notifizierte Stelle ihre Tätigkeit eingestellt, so widerruft die notifizierende Behörde die Benennung.
4. Hat eine notifizierende Behörde hinreichenden Grund zu der Annahme, dass eine notifizierte Stelle die in
Artikel 31
genannten Anforderungen nicht mehr erfüllt oder dass sie ihren Verpflichtungen nicht nachkommt, so untersucht sie die Angelegenheit unverzüglich mit der größtmöglichen Sorgfalt. In diesem Zusammenhang unterrichtet sie die betreffende notifizierte Stelle über die erhobenen Einwände und gibt ihr Gelegenheit zur Äußerung. Gelangt die notifizierende Behörde zu dem Schluss, dass die notifizierte Stelle die in
Artikel 31
genannten Anforderungen nicht mehr erfüllt oder dass sie ihren Verpflichtungen nicht nachkommt, schränkt sie die Benennung je nach Schwere des Verstoßes gegen diese Anforderungen oder Verpflichtungen ein, setzt sie aus oder widerruft sie. Er unterrichtet die Kommission und die anderen Mitgliedstaaten unverzüglich davon.
5. Wurde ihre Benennung ausgesetzt, eingeschränkt oder ganz oder teilweise widerrufen, so unterrichtet die benannte Stelle die betroffenen Anbieter innerhalb von 10 Tagen.
6. Bei Einschränkung, Aussetzung oder Widerruf einer Benennung ergreift die notifizierende Behörde geeignete Maßnahmen, um sicherzustellen, dass die Akten der notifizierten Stelle aufbewahrt und den notifizierenden Behörden in anderen Mitgliedstaaten sowie den Marktüberwachungsbehörden auf Verlangen vorgelegt werden.
7. Im Falle der Einschränkung, der Aussetzung oder des Widerrufs einer Benennung muss die notifizierende Behörde:
(a) Sie bewertet die Auswirkungen auf die von der benannten Stelle ausgestellten Bescheinigungen;
(b) legt der Kommission und den anderen Mitgliedstaaten innerhalb von drei Monaten nach Bekanntgabe der Änderungen der Bezeichnung einen Bericht über ihre Feststellungen vor;
(c) von der benannten Stelle verlangen, dass sie innerhalb einer von der Behörde festgelegten angemessenen Frist Bescheinigungen, die zu Unrecht ausgestellt wurden, aussetzt oder zurückzieht, um die dauerhafte Konformität der auf dem Markt befindlichen AI-Systeme mit hohem Risiko zu gewährleisten;
(d) unterrichtet die Kommission und die Mitgliedstaaten über die Bescheinigungen, deren Aussetzung oder Rücknahme sie verlangt hat;
(e) den zuständigen nationalen Behörden des Mitgliedstaats, in dem der Dienstleistungserbringer seinen eingetragenen Geschäftssitz hat, alle einschlägigen Informationen über die Zertifikate, deren Aussetzung oder Entzug er verlangt hat, zu übermitteln; diese Behörde ergreift erforderlichenfalls die geeigneten Maßnahmen, um eine mögliche Gefährdung der Gesundheit, der Sicherheit oder der Grundrechte zu vermeiden.
8. Mit Ausnahme von Bescheinigungen, die zu Unrecht erteilt wurden, und von Bescheinigungen, deren Gültigkeit ausgesetzt oder eingeschränkt wurde, behalten die Bescheinigungen ihre Gültigkeit, wenn einer der folgenden Umstände vorliegt:
(a) Die notifizierende Behörde hat innerhalb eines Monats nach der Aussetzung oder Einschränkung bestätigt, dass in Bezug auf die von der Aussetzung oder Einschränkung betroffenen Bescheinigungen kein Risiko für die Gesundheit, die Sicherheit oder die Grundrechte besteht, und die notifizierende Behörde hat einen Zeitplan für Maßnahmen zur Behebung der Aussetzung oder Einschränkung aufgestellt; oder
(b) Die notifizierende Behörde hat bestätigt, dass während der Dauer der Aussetzung oder Einschränkung keine für die Aussetzung relevanten Bescheinigungen ausgestellt, geändert oder neu ausgestellt werden, und teilt mit, ob die notifizierte Stelle in der Lage ist, bestehende Bescheinigungen während der Dauer der Aussetzung oder Einschränkung weiterhin zu überwachen und dafür verantwortlich zu bleiben; Stellt die notifizierende Behörde fest, dass die notifizierte Stelle nicht in der Lage ist, bestehende ausgestellte Bescheinigungen zu betreuen, bestätigt der Anbieter des von der Bescheinigung erfassten Systems den zuständigen nationalen Behörden des Mitgliedstaats, in dem er seine eingetragene Niederlassung hat, innerhalb von drei Monaten nach der Aussetzung oder Einschränkung schriftlich, dass eine andere qualifizierte notifizierte Stelle vorübergehend die Aufgaben der notifizierten Stelle übernimmt und die Bescheinigungen während der Dauer der Aussetzung oder Einschränkung überwacht und für sie verantwortlich bleibt.
9. Mit Ausnahme der zu Unrecht erteilten Bescheinigungen und der zurückgezogenen Bezeichnungen bleiben die Bescheinigungen unter den folgenden Umständen neun Monate lang gültig:
(a) die zuständige nationale Behörde des Mitgliedstaats, in dem der Anbieter des unter die Bescheinigung fallenden AI-Systems mit hohem Risiko seinen eingetragenen Geschäftssitz hat, bestätigt hat, dass von den betreffenden AI-Systemen mit hohem Risiko kein Risiko für die Gesundheit, die Sicherheit oder die Grundrechte ausgeht, und
(b) eine andere benannte Stelle hat schriftlich bestätigt, dass sie die unmittelbare Verantwortung für diese KI-Systeme übernehmen wird, und schließt ihre Bewertung innerhalb von 12 Monaten nach dem Widerruf der Benennung ab. Unter den in Unterabsatz 1 genannten Umständen kann die zuständige nationale Behörde des Mitgliedstaats, in dem der Anbieter des von der Bescheinigung erfassten Systems seinen Geschäftssitz hat, die vorläufige Gültigkeit der Bescheinigungen um weitere drei Monate verlängern, die insgesamt zwölf Monate nicht überschreiten dürfen. Die zuständige nationale Behörde oder die benannte Stelle, die die Aufgaben der von der Änderung der Benennung betroffenen benannten Stelle übernimmt, unterrichtet unverzüglich die Kommission, die übrigen Mitgliedstaaten und die anderen benannten Stellen darüber.
Quelle öffnen
Art. 37

Anfechtung der Zuständigkeit der benannten Stellen

Erlaubt der Kommission, die Kompetenz oder fortdauernde Eignung benannter Stellen zu überprüfen. Mitgliedstaaten müssen Informationen liefern und bei Problemen Korrekturmaßnahmen bis hin zum Entzug der Notifizierung setzen.

Originaltext anzeigen
1. Die Kommission untersucht erforderlichenfalls alle Fälle, in denen Zweifel an der Kompetenz einer benannten Stelle oder daran bestehen, dass eine benannte Stelle den Anforderungen des
Artikels 31
und ihren geltenden Pflichten weiterhin nachkommt.
2. Die notifizierende Behörde übermittelt der Kommission auf Verlangen alle einschlägigen Informationen über die Notifizierung oder die Erhaltung der Kompetenz der betreffenden notifizierten Stelle.
3. Die Kommission stellt sicher, dass alle sensiblen Informationen, die sie im Rahmen ihrer Untersuchungen gemäß diesem Artikel erhält, gemäß
Artikel 78
vertraulich behandelt werden.
4. Stellt die Kommission fest, dass eine notifizierte Stelle die Anforderungen für ihre Notifizierung nicht oder nicht mehr erfüllt, setzt sie den notifizierenden Mitgliedstaat davon in Kenntnis und fordert ihn auf, die erforderlichen Korrekturmaßnahmen zu treffen, einschließlich der Aussetzung oder des Widerrufs der Notifizierung, sofern dies nötig ist. Versäumt es der Mitgliedstaat, die erforderlichen Korrekturmaßnahmen zu ergreifen, kann die Kommission im Wege eines Durchführungsrechtsakts die Benennung aussetzen, einschränken oder widerrufen. Dieser Durchführungsrechtsakt wird nach dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
Quelle öffnen
Art. 38

Koordinierung der benannten Stellen

Sichert Koordination zwischen benannten Stellen. Die Kommission organisiert Austausch und Zusammenarbeit, damit Konformitätsbewertungen für Hochrisiko-KI einheitlich angewandt werden; benannte Stellen müssen sich daran beteiligen oder vertreten lassen.

Originaltext anzeigen
1. Die Kommission stellt sicher, dass in Bezug auf AI-Systeme mit hohem Risiko eine angemessene Koordinierung und Zusammenarbeit zwischen den benannten Stellen, die an den Konformitätsbewertungsverfahren gemäß dieser Verordnung beteiligt sind, in Form einer sektoralen Gruppe benannter Stellen eingerichtet und ordnungsgemäß betrieben wird.
2. Jede notifizierende Behörde stellt sicher, dass sich die von ihr notifizierten Stellen entweder direkt oder über benannte Vertreter an den Arbeiten der in Absatz 1 genannten Gruppe beteiligen.
3. Die Kommission sorgt für den Austausch von Wissen und bewährten Verfahren zwischen den notifizierenden Behörden.
Quelle öffnen
Art. 39

Konformitätsbewertungsstellen von Drittländern

Ermöglicht Konformitätsbewertungsstellen aus Drittstaaten, Aufgaben benannter Stellen zu übernehmen, wenn ein entsprechendes Abkommen mit der EU besteht. Voraussetzung ist ein gleichwertiges Kompetenz- und Unabhängigkeitsniveau.

Originaltext anzeigen
Konformitätsbewertungsstellen, die nach dem Recht eines Drittlandes, mit dem die Union ein Abkommen geschlossen hat, eingerichtet wurden, können ermächtigt werden, die Tätigkeiten der notifizierten Stellen im Rahmen dieser Verordnung auszuführen, sofern sie die Anforderungen des
Artikels 31
erfüllen oder ein gleichwertiges Konformitätsniveau gewährleisten.
Quelle öffnen
Art. 40

Harmonisierte Normen und Normungsdokumente

Verankert harmonisierte Normen als zentralen Nachweisweg: Wer einschlägige im EU-Amtsblatt veröffentlichte Normen oder Teile davon erfüllt, gilt für die abgedeckten Anforderungen grundsätzlich als konform. Die Kommission kann Normungsaufträge erteilen, um AI-Act-Anforderungen praktisch prüfbar zu machen.

Originaltext anzeigen
1. Bei KI-Systemen mit hohem Risiko oder KI-Modellen für allgemeine Zwecke, die mit harmonisierten Normen oder Teilen davon übereinstimmen, deren Fundstellen gemäß der Verordnung (EU) Nr. 1025/2012 im Amtsblatt der Europäischen Union veröffentlicht wurden, wird davon ausgegangen, dass sie mit den Anforderungen in Abschnitt 2 dieses Kapitels oder gegebenenfalls mit den Verpflichtungen gemäß
Kapitel V
Abschnitte 2 und 3 dieser Verordnung übereinstimmen, soweit diese Normen diese Anforderungen oder Verpflichtungen abdecken.
2. Im Einklang mit Artikel 10 der Verordnung (EU) Nr. 1025/2012 erteilt die Kommission unverzüglich Normungsaufträge, die alle in Abschnitt 2 dieses Kapitels genannten Anforderungen abdecken, sowie gegebenenfalls Normungsaufträge, die die in
Kapitel V
Abschnitte 2 und 3 dieser Verordnung genannten Verpflichtungen abdecken. In dem Normungsauftrag werden auch Angaben zu Berichterstattungs- und Dokumentationsverfahren zur Verbesserung der Ressourcenleistung von KI-Systemen verlangt, z. B. zur Verringerung des Energieverbrauchs von KI-Systemen mit hohem Risiko und des Verbrauchs anderer Ressourcen während ihres Lebenszyklus sowie zur energieeffizienten Entwicklung von KI-Modellen für allgemeine Zwecke. Bei der Ausarbeitung eines Normungsauftrags konsultiert die Kommission den Beirat und die einschlägigen Interessengruppen, einschließlich des Beratungsgremiums. Bei der Erteilung eines Normungsauftrags an die europäischen Normungsorganisationen weist die Kommission darauf hin, dass die Normen klar und kohärent sein müssen, auch in Bezug auf die Normen, die in den verschiedenen Sektoren für Produkte entwickelt wurden, die unter die in
Anhang
I aufgeführten bestehenden Harmonisierungsrechtsvorschriften der Union fallen, und dass sie gewährleisten sollen, dass in der Union in Verkehr gebrachte oder in Betrieb genommene KI-Systeme mit hohem Risiko oder KI-Modelle für allgemeine Zwecke die in dieser Verordnung festgelegten einschlägigen Anforderungen oder Verpflichtungen erfüllen. Die Kommission fordert die europäischen Normungsorganisationen auf, gemäß Artikel 24 der Verordnung (EU) Nr. 1025/2012 nachzuweisen, dass sie sich nach besten Kräften bemühen, die in den Unterabsätzen 1 und 2 des vorliegenden Absatzes genannten Ziele zu erreichen.
3. Die Teilnehmer am Normungsprozess sind bestrebt, Investitionen und Innovationen im Bereich der künstlichen Intelligenz zu fördern, unter anderem durch Erhöhung der Rechtssicherheit, sowie die Wettbewerbsfähigkeit und das Wachstum des Unionsmarktes zu steigern, zur Stärkung der weltweiten Zusammenarbeit bei der Normung beizutragen und bestehende internationale Normen im Bereich der künstlichen Intelligenz zu berücksichtigen, die mit den Werten, Grundrechten und Interessen der Union im Einklang stehen, und die Multi-Stakeholder-Governance zu verbessern, die eine ausgewogene Vertretung der Interessen und die wirksame Beteiligung aller einschlägigen Akteure gemäß den Artikeln 5, 6 und 7 der Verordnung (EU) Nr. 1025/2012 gewährleistet.
Quelle öffnen
Art. 41

Gemeinsame Spezifikationen

Erlaubt gemeinsame Spezifikationen der Kommission, wenn harmonisierte Normen fehlen, unzureichend sind oder sich verzögern. Anbieter können damit Konformität nachweisen; wer abweicht, muss mindestens gleichwertige technische Lösungen belegen.

Originaltext anzeigen
1. Die Kommission kann Durchführungsrechtsakte zur Festlegung gemeinsamer Spezifikationen für die Anforderungen gemäß Abschnitt 2 dieses Kapitels oder gegebenenfalls für die Verpflichtungen gemäß
Kapitel V
Abschnitte 2 und 3 erlassen, wenn die folgenden Bedingungen erfüllt sind:
(a) die Kommission gemäß Artikel 10 Absatz 1 der Verordnung (EU) Nr. 1025/2012 eine oder mehrere europäische Normungsorganisationen ersucht hat, eine harmonisierte Norm für die Anforderungen gemäß Abschnitt 2 dieses Kapitels oder gegebenenfalls für die Verpflichtungen gemäß
Kapitel V
Abschnitte 2 und 3 zu erarbeiten, und:
(i) der Antrag von keiner der europäischen Normungsorganisationen angenommen wurde, oder
(ii) die harmonisierten Normen, die diesem Antrag entsprechen, nicht innerhalb der gemäß Artikel 10 Absatz 1 der Verordnung (EU) Nr. 1025/2012 gesetzten Frist vorgelegt werden oder
(iii) die einschlägigen harmonisierten Normen tragen den Grundrechtsbelangen nur unzureichend Rechnung; oder
(iv) die harmonisierten Normen dem Antrag nicht entsprechen; und
(b) kein Verweis auf harmonisierte Normen, die die Anforderungen gemäß
Abschnitt 2 dieses Kapitels oder gegebenenfalls die Verpflichtungen gemäß
Kapitel V
Abschnitte 2 und 3 im Amtsblatt der Europäischen Union gemäß der Verordnung (EU) Nr. 1025/2012 veröffentlicht worden ist, und es ist nicht zu erwarten, dass eine solche Fundstelle innerhalb eines angemessenen Zeitraums veröffentlicht wird. Bei der Ausarbeitung der gemeinsamen Spezifikationen konsultiert die Kommission das in
Artikel 67
genannte Beratungsgremium. Die in Unterabsatz 1 des vorliegenden Absatzes genannten Durchführungsrechtsakte werden nach dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
2. Vor der Ausarbeitung eines Entwurfs eines Durchführungsrechtsakts unterrichtet die Kommission den in Artikel 22 der Verordnung (EU) Nr. 1025/2012 genannten Ausschuss darüber, dass sie die in Absatz 1 des vorliegenden Artikels genannten Bedingungen für erfüllt hält.
3. Bei KI-Systemen mit hohem Risiko oder KI-Modellen für allgemeine Zwecke, die den in Absatz 1 genannten gemeinsamen Spezifikationen oder Teilen dieser Spezifikationen entsprechen, wird davon ausgegangen, dass sie den in Abschnitt 2 dieses Kapitels genannten Anforderungen oder gegebenenfalls den in
Kapitel V
Abschnitte 2 und 3 genannten Verpflichtungen entsprechen, soweit diese gemeinsamen Spezifikationen diese Anforderungen oder Verpflichtungen abdecken.
4. Wird eine harmonisierte Norm von einer europäischen Normungsorganisation angenommen und der Kommission zur Veröffentlichung ihrer Fundstelle im Amtsblatt der Europäischen Union vorgeschlagen, bewertet die Kommission die harmonisierte Norm gemäß der Verordnung (EU) Nr. 1025/2012. Wenn die Fundstelle einer harmonisierten Norm im Amtsblatt der Europäischen Union veröffentlicht wird, hebt die Kommission die in Absatz 1 genannten Durchführungsrechtsakte oder Teile davon auf, die dieselben Anforderungen gemäß Abschnitt 2 dieses Kapitels oder gegebenenfalls dieselben Verpflichtungen gemäß
Kapitel V
Abschnitte 2 und 3 abdecken.
5. Erfüllen die Anbieter von KI-Systemen mit hohem Risiko oder von KI-Modellen für allgemeine Zwecke die in Absatz 1 genannten gemeinsamen Spezifikationen nicht, so müssen sie ordnungsgemäß nachweisen, dass sie technische Lösungen gewählt haben, die den in Abschnitt 2 dieses Kapitels genannten Anforderungen genügen, oder gegebenenfalls die in
Kapitel V
Abschnitte 2 und 3 festgelegten Verpflichtungen auf einem mindestens gleichwertigen Niveau erfüllen.
6. Ist ein Mitgliedstaat der Auffassung, dass eine gemeinsame Spezifikation die Anforderungen gemäß Abschnitt 2 oder gegebenenfalls die Verpflichtungen gemäß
Kapitel V
Abschnitte 2 und 3 nicht vollständig erfüllt, so teilt er dies der Kommission mit einer ausführlichen Erläuterung mit. Die Kommission prüft diese Informationen und ändert gegebenenfalls den Durchführungsrechtsakt zur Festlegung der betreffenden gemeinsamen Spezifikation.
Quelle öffnen
Art. 42

Vermutung der Konformität mit bestimmten Anforderungen

Schafft Konformitätsvermutungen für bestimmte Anforderungen, etwa wenn Trainings-/Testdaten das Einsatzumfeld angemessen abbilden oder wenn Cybersicherheitszertifizierungen einschlägige Anforderungen abdecken. Das senkt Nachweisaufwand, soweit die Vermutung den konkreten Sachverhalt wirklich abdeckt.

Originaltext anzeigen
1. Bei KI-Systemen mit hohem Risiko, die anhand von Daten geschult und getestet wurden, die das spezifische geografische, verhaltensbezogene, kontextuelle oder funktionale Umfeld widerspiegeln, in dem sie eingesetzt werden sollen, wird davon ausgegangen, dass sie die einschlägigen Anforderungen des
Artikels 10
Absatz 4 erfüllen.
2. Bei KI-Systemen mit hohem Risiko, die im Rahmen einer Cybersicherheitsregelung gemäß der Verordnung (EU) 2019/881 zertifiziert wurden oder für die eine Konformitätserklärung ausgestellt wurde und deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht wurden, wird davon ausgegangen, dass sie die Cybersicherheitsanforderungen gemäß
Artikel 15
dieser Verordnung erfüllen, sofern die Cybersicherheitsbescheinigung oder die Konformitätserklärung oder Teile davon diese Anforderungen abdecken.
Quelle öffnen
Art. 43

Konformitätsbewertung

Regelt, welches Konformitätsbewertungsverfahren Hochrisiko-KI vor Marktzugang braucht. Je nach System reicht interne Kontrolle oder es braucht eine benannte Stelle; wesentliche Änderungen können eine neue Bewertung auslösen, während lernende Systeme vorab definierte Änderungen abdecken können.

Originaltext anzeigen
1. Bei den in
Anhang III
Nummer 1 aufgeführten AI-Systemen mit hohem Risiko entscheidet sich der Anbieter für eines der folgenden Konformitätsbewertungsverfahren, wenn er die Übereinstimmung eines AI-Systems mit hohem Risiko mit den in Abschnitt 2 genannten Anforderungen nachweist und dabei harmonisierte Normen gemäß
Artikel 40
oder gegebenenfalls gemeinsame Spezifikationen gemäß
Artikel 41
angewandt hat:
(a) die in
Anhang VI
genannte interne Kontrolle; oder
(b) die Bewertung des Qualitätsmanagementsystems und die Bewertung der technischen Unterlagen unter Einbeziehung einer benannten Stelle gemäß
Anhang VII
. Beim Nachweis der Konformität eines AI-Systems mit hohem Risiko mit den in Abschnitt 2 genannten Anforderungen muss der Anbieter das Konformitätsbewertungsverfahren gemäß
Anhang VII
anwenden, wenn:
(a) es keine harmonisierten Normen gemäß
Artikel 40
gibt und keine gemeinsamen Spezifikationen gemäß
Artikel 41
verfügbar sind;
(b) der Dienstleistungserbringer hat die harmonisierte Norm nicht oder nur teilweise angewandt;
(c) die unter Buchstabe a) genannten gemeinsamen Spezifikationen existieren, aber der Dienstleistungserbringer hat sie nicht angewandt;
(d) eine oder mehrere der unter Buchstabe a) genannten harmonisierten Normen wurden mit einer Einschränkung veröffentlicht, und zwar nur für den Teil der Norm, der eingeschränkt wurde. Für die Zwecke des Konformitätsbewertungsverfahrens gemäß
Anhang VII
kann der Dienstleistungserbringer jede der benannten Stellen wählen. Soll das AI-System für hohe Risiken jedoch von Strafverfolgungs-, Einwanderungs- oder Asylbehörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union in Betrieb genommen werden, so fungiert die in
Artikel 74
Absatz 8 bzw. Absatz 9 genannte Marktüberwachungsbehörde als notifizierte Stelle.
2. Bei den in
Anhang III
Nummern 2 bis 8 genannten AI-Systemen mit hohem Risiko wenden die Anbieter das in
Anhang VI
genannte Konformitätsbewertungsverfahren auf der Grundlage einer internen Kontrolle an, das keine Einschaltung einer benannten Stelle vorsieht.
3. Bei AI-Systemen mit hohem Risiko, die unter die in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, führt der Anbieter das in diesen Rechtsakten vorgeschriebene Konformitätsbewertungsverfahren durch. Die in Abschnitt 2 dieses Kapitels festgelegten Anforderungen gelten für diese AI-Systeme mit hohem Risiko und sind Teil dieser Bewertung. Die Nummern 4.3, 4.4, 4.5 und 4.6 Absatz 5 des
Anhangs VII
finden ebenfalls Anwendung. Für die Zwecke dieser Bewertung sind die gemäß diesen Rechtsakten notifizierten Stellen berechtigt, die Konformität der AI-Systeme mit hohem Risiko mit den in Abschnitt 2 genannten Anforderungen zu kontrollieren, sofern die Einhaltung der in
Artikel 31
Absätze 4, 5, 10 und 11 festgelegten Anforderungen durch diese notifizierten Stellen im Rahmen des Notifizierungsverfahrens gemäß diesen Rechtsakten bewertet wurde. Gibt ein in
Anhang I
Abschnitt A aufgeführter Rechtsakt dem Produkthersteller die Möglichkeit, von einer Konformitätsbewertung durch einen Dritten abzusehen, sofern dieser Hersteller alle harmonisierten Normen angewandt hat, die alle einschlägigen Anforderungen abdecken, so kann er von dieser Möglichkeit nur Gebrauch machen, wenn er auch harmonisierte Normen oder gegebenenfalls gemeinsame Spezifikationen gemäß
Artikel 41
angewandt hat, die alle Anforderungen gemäß Abschnitt 2 dieses Kapitels abdecken.
4. KI-Systeme mit hohem Risiko, die bereits einem Konformitätsbewertungsverfahren unterzogen wurden, sind im Falle einer wesentlichen Änderung einem neuen Konformitätsbewertungsverfahren zu unterziehen, und zwar unabhängig davon, ob das geänderte System weiter vertrieben werden soll oder vom derzeitigen Betreiber weiter genutzt wird. Bei KI-Systemen mit hohem Risiko, die nach dem Inverkehrbringen oder der Inbetriebnahme weiter verwendet werden, stellen Änderungen an dem KI-System mit hohem Risiko und seiner Leistung, die vom Anbieter zum Zeitpunkt der ersten Konformitätsbewertung festgelegt wurden und Teil der in den technischen Unterlagen gemäß
Anhang IV
Nummer 2 Buchstabe f enthaltenen Informationen sind, keine wesentliche Änderung dar.
5. Der Kommission wird die Befugnis übertragen, delegierte Rechtsakte gemäß
Artikel 97
zu erlassen, um die
Anhänge VI
und
VII
zu ändern und sie unter Berücksichtigung des technischen Fortschritts zu aktualisieren.
6. Der Kommission wird die Befugnis übertragen, gemäß
Artikel 97
delegierte Rechtsakte zur Änderung der Absätze 1 und 2 des vorliegenden Artikels zu erlassen, um die in
Anhang III
Nummern 2 bis 8 genannten AI-Systeme mit hohem Risiko dem Konformitätsbewertungsverfahren nach
Anhang VII
oder Teilen davon zu unterziehen. Die Kommission erlässt solche delegierten Rechtsakte unter Berücksichtigung der Wirksamkeit des Konformitätsbewertungsverfahrens auf der Grundlage der internen Kontrolle gemäß
Anhang VI
im Hinblick auf die Vermeidung oder Minimierung der von solchen Systemen ausgehenden Risiken für die Gesundheit und Sicherheit und den Schutz der Grundrechte sowie der Verfügbarkeit angemessener Kapazitäten und Ressourcen bei den benannten Stellen.
Quelle öffnen
Art. 44

Bescheinigungen

Regelt Bescheinigungen benannter Stellen: Sie müssen für nationale Behörden verständlich sein, enthalten Bedingungen und Gültigkeitsdauer und dürfen grundsätzlich höchstens fünf Jahre gelten. Verlängerung, Einschränkung, Aussetzung oder Widerruf richten sich nach fortbestehender Konformität.

Originaltext anzeigen
1. Die von den benannten Stellen gemäß
Anhang VII
ausgestellten Bescheinigungen sind in einer Sprache abzufassen, die von den zuständigen Behörden des Mitgliedstaats, in dem die benannte Stelle niedergelassen ist, leicht verstanden werden kann.
2. Die Bescheinigungen sind für den darin angegebenen Zeitraum gültig, der bei unter
Anhang I
fallenden KI-Systemen fünf Jahre und bei unter
Anhang III
fallenden KI-Systemen vier Jahre nicht überschreiten darf. Auf Antrag des Anbieters kann die Gültigkeit einer Bescheinigung auf der Grundlage einer Neubewertung gemäß den geltenden Konformitätsbewertungsverfahren um weitere Zeiträume verlängert werden, die bei unter
Anhang I
fallenden AI-Systemen jeweils fünf Jahre und bei unter
Anhang III
fallenden AI-Systemen jeweils vier Jahre nicht überschreiten dürfen. Ergänzungen zu einer Bescheinigung bleiben gültig, sofern die Bescheinigung, die sie ergänzen, gültig ist.
3. Stellt eine benannte Stelle fest, dass ein KI-System die in Abschnitt 2 genannten Anforderungen nicht mehr erfüllt, setzt sie unter Berücksichtigung des Grundsatzes der Verhältnismäßigkeit die ausgestellte Bescheinigung aus, widerruft sie oder erlegt ihr Beschränkungen auf, es sei denn, die Erfüllung dieser Anforderungen wird durch geeignete Korrekturmaßnahmen gewährleistet, die der Anbieter des Systems innerhalb einer von der benannten Stelle gesetzten angemessenen Frist vornimmt. Die benannte Stelle gibt eine Begründung für ihre Entscheidung ab. Es muss ein Rechtsbehelfsverfahren gegen die Entscheidungen der benannten Stellen, auch über ausgestellte Konformitätsbescheinigungen, zur Verfügung stehen.
Quelle öffnen
Art. 45

Informationsverpflichtungen der benannten Stellen

Verpflichtet benannte Stellen zu Informationsmeldungen über ausgestellte, verweigerte, ausgesetzte oder widerrufene Bescheinigungen. Sie müssen notifizierende Behörden, andere benannte Stellen und auf Anfrage Marktüberwachungsbehörden informieren.

Originaltext anzeigen
1. Die notifizierten Stellen teilen der notifizierenden Behörde Folgendes mit:
(a) alle Unionszertifikate für die Bewertung der technischen Dokumentation, alle Ergänzungen zu diesen Zertifikaten und alle gemäß den Anforderungen des
Anhangs VII
erteilten Zulassungen für Qualitätsmanagementsysteme;
(b) jede Verweigerung, Einschränkung, Aussetzung oder Rücknahme eines Unionszertifikats für die Bewertung der technischen Dokumentation oder einer Genehmigung für das Qualitätsmanagementsystem, die gemäß den Anforderungen des
Anhangs VII
erteilt wurde;
(c) alle Umstände, die sich auf den Umfang der Anmeldung oder die Bedingungen für die Anmeldung auswirken;
(d) alle Informationsersuchen, die sie von Marktüberwachungsbehörden in Bezug auf Konformitätsbewertungstätigkeiten erhalten haben;
(e) auf Verlangen die im Geltungsbereich ihrer Notifizierung durchgeführten Konformitätsbewertungstätigkeiten und alle anderen durchgeführten Tätigkeiten, einschließlich grenzüberschreitender Tätigkeiten und Vergabe von Unteraufträgen.
2. Jede benannte Stelle unterrichtet die anderen benannten Stellen über:
(a) die von ihr verweigerten, ausgesetzten oder entzogenen Zulassungen für Qualitätsmanagementsysteme sowie auf Anfrage die von ihr erteilten Zulassungen für Qualitätsmanagementsysteme;
(b) die von ihr verweigerten, widerrufenen, ausgesetzten oder anderweitig eingeschränkten Unionszertifikate für die Bewertung der technischen Dokumentation oder etwaige Ergänzungen dazu sowie auf Antrag die von ihr ausgestellten Zertifikate und/oder Ergänzungen dazu.
3. Jede benannte Stelle übermittelt den anderen benannten Stellen, die ähnliche Konformitätsbewertungstätigkeiten für dieselben Arten von AI-Systemen durchführen, einschlägige Informationen über negative und auf Verlangen auch über positive Ergebnisse von Konformitätsbewertungen.
4. Die benannten Stellen wahren die Vertraulichkeit der von ihnen erlangten Informationen nach Maßgabe des
Artikels 78
.
Quelle öffnen
Art. 46

Ausnahmen vom Konformitätsbewertungsverfahren

Erlaubt in Ausnahmefällen nationale Genehmigungen für Hochrisiko-KI ohne abgeschlossenes reguläres Konformitätsverfahren, etwa aus Gründen öffentlicher Sicherheit, Gesundheit, Umweltschutz oder Schutz wichtiger Industrie-/Infrastrukturwerte. Die Genehmigung ist befristet, begründet und kann von Kommission oder Mitgliedstaaten beanstandet werden.

Originaltext anzeigen
1. Abweichend von
Artikel 43
kann jede Marktüberwachungsbehörde auf hinreichend begründeten Antrag das Inverkehrbringen oder die Inbetriebnahme bestimmter AI-Systeme mit hohem Risiko im Hoheitsgebiet des betreffenden Mitgliedstaats aus außergewöhnlichen Gründen der öffentlichen Sicherheit oder des Schutzes des Lebens und der Gesundheit von Personen, des Umweltschutzes oder des Schutzes wichtiger Industrie- und Infrastruktureinrichtungen genehmigen. Diese Genehmigung wird für einen begrenzten Zeitraum erteilt, während die erforderlichen Konformitätsbewertungsverfahren durchgeführt werden, wobei die außergewöhnlichen Gründe, die die Abweichung rechtfertigen, zu berücksichtigen sind. Der Abschluss dieser Verfahren wird ohne unangemessene Verzögerung durchgeführt.
2. In hinreichend begründeten dringenden Fällen aus außergewöhnlichen Gründen der öffentlichen Sicherheit oder im Falle einer konkreten, erheblichen und unmittelbaren Bedrohung für das Leben oder die körperliche Unversehrtheit natürlicher Personen können die Strafverfolgungs- oder Katastrophenschutzbehörden ein bestimmtes AI-System mit hohem Risiko ohne die in Absatz 1 genannte Genehmigung in Betrieb nehmen, sofern eine solche Genehmigung während oder nach der Verwendung ohne unnötige Verzögerung beantragt wird. Wird die in Absatz 1 genannte Genehmigung verweigert, wird die Verwendung des Hochrisiko-KI-Systems mit sofortiger Wirkung eingestellt, und alle Ergebnisse und Outputs einer solchen Verwendung werden unverzüglich verworfen.
3. Die in Absatz 1 genannte Genehmigung wird nur erteilt, wenn die Marktüberwachungsbehörde zu dem Schluss kommt, dass das AI-System mit hohem Risiko die Anforderungen des Abschnitts 2 erfüllt. Die Marktüberwachungsbehörde unterrichtet die Kommission und die anderen Mitgliedstaaten über jede gemäß den Absätzen 1 und 2 erteilte Genehmigung. Diese Verpflichtung gilt nicht für sensible operative Daten im Zusammenhang mit den Tätigkeiten von Strafverfolgungsbehörden.
4. Erhebt weder ein Mitgliedstaat noch die Kommission innerhalb von 15 Kalendertagen nach Erhalt der in Absatz 3 genannten Informationen Einwände gegen eine von einer Marktüberwachungsbehörde eines Mitgliedstaats gemäß Absatz 1 erteilte Genehmigung, so gilt diese Genehmigung als gerechtfertigt.
5. Erhebt ein Mitgliedstaat innerhalb von 15 Kalendertagen nach Eingang der in Absatz 3 genannten Mitteilung Einwände gegen eine von einer Marktüberwachungsbehörde eines anderen Mitgliedstaats erteilte Genehmigung oder hält die Kommission die Genehmigung für unionsrechtswidrig oder die Schlussfolgerung der Mitgliedstaaten hinsichtlich der Konformität des in Absatz 3 genannten Systems für unbegründet, so nimmt die Kommission unverzüglich Konsultationen mit dem betreffenden Mitgliedstaat auf. Die betroffenen Marktteilnehmer werden konsultiert und haben die Möglichkeit, ihren Standpunkt darzulegen. Auf dieser Grundlage entscheidet die Kommission, ob die Genehmigung gerechtfertigt ist. Die Kommission richtet ihre Entscheidung an den betreffenden Mitgliedstaat und an die betroffenen Marktteilnehmer.
6. Hält die Kommission die Zulassung für ungerechtfertigt, so wird sie von der Marktüberwachungsbehörde des betreffenden Mitgliedstaats entzogen.
7. Für AI-Systeme mit hohem Risiko im Zusammenhang mit Produkten, die unter die in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, gelten nur die in diesen Harmonisierungsrechtsvorschriften der Union festgelegten Ausnahmen von der Konformitätsbewertung.
Quelle öffnen
Art. 47

EU-Konformitätserklärung

Verlangt eine EU-Konformitätserklärung für jedes Hochrisiko-KI-System. Der Anbieter bestätigt darin die Einhaltung des AI Acts, hält sie aktuell, stellt sie Behörden bereit und kann mehrere einschlägige EU-Rechtsakte in einer einzigen Erklärung bündeln; Mindestinhalt steht in Anhang V.

Originaltext anzeigen
1. Der Anbieter stellt für jedes AI-System mit hohem Risiko eine schriftliche, maschinenlesbare, physisch oder elektronisch unterzeichnete EU-Konformitätserklärung aus und hält sie zehn Jahre lang nach dem Inverkehrbringen oder der Inbetriebnahme des AI-Systems mit hohem Risiko für die zuständigen nationalen Behörden bereit. Aus der EU-Konformitätserklärung muss hervorgehen, für welches AI-System mit hohem Risiko sie ausgestellt wurde. Eine Kopie der EU-Konformitätserklärung wird den jeweils zuständigen nationalen Behörden auf Verlangen vorgelegt.
2. Die EU-Konformitätserklärung besagt, dass das betreffende AI-System mit hohem Risiko den in Abschnitt 2 genannten Anforderungen entspricht. Die EU-Konformitätserklärung enthält die in
Anhang V
aufgeführten Angaben und wird in eine Sprache übersetzt, die von den zuständigen nationalen Behörden der Mitgliedstaaten, in denen das AI-System mit hohem Risiko in Verkehr gebracht oder bereitgestellt wird, leicht verstanden werden kann.
3. Unterliegen AI-Systeme mit hohem Risiko anderen Harmonisierungsrechtsvorschriften der Union, in denen ebenfalls eine EU-Konformitätserklärung vorgeschrieben ist, wird eine einzige EU-Konformitätserklärung für sämtliche Rechtsvorschriften der Union ausgestellt, die für das AI-System mit hohem Risiko gelten. Die Erklärung muss alle erforderlichen Angaben zur Identifizierung der Harmonisierungsrechtsvorschriften der Union enthalten, auf die sich die Erklärung bezieht.
4. Mit der Ausstellung der EU-Konformitätserklärung übernimmt der Anbieter die Verantwortung für die Einhaltung der in Abschnitt 2 genannten Anforderungen. Der Anbieter hält die EU-Konformitätserklärung gegebenenfalls auf dem neuesten Stand.
5. Der Kommission wird die Befugnis übertragen, gemäß
Artikel 97
delegierte Rechtsakte zur Änderung von
Anhang V
zu erlassen, um den Inhalt der in diesem Anhang enthaltenen EU-Konformitätserklärung zu aktualisieren und Elemente aufzunehmen, die angesichts des technischen Fortschritts erforderlich werden.
Quelle öffnen
Art. 48

CE-Kennzeichnung

Regelt die CE-Kennzeichnung für Hochrisiko-KI. Sie muss sichtbar, lesbar und dauerhaft angebracht werden, ggf. digital; bei Beteiligung einer benannten Stelle erscheint deren Kennnummer neben der Kennzeichnung.

Originaltext anzeigen
1. Die CE-Kennzeichnung unterliegt den allgemeinen Grundsätzen des Artikels 30 der Verordnung (EG) Nr. 765/2008.
2. Bei digital bereitgestellten AI-Systemen mit hohem Risiko wird eine digitale CE-Kennzeichnung nur verwendet, wenn sie über die Schnittstelle, über die auf das System zugegriffen wird, oder über einen leicht zugänglichen maschinenlesbaren Code oder andere elektronische Mittel leicht zugänglich ist.
3. Die CE-Kennzeichnung ist bei AI-Systemen mit hohem Risiko gut sichtbar, leserlich und dauerhaft anzubringen. Ist dies nicht möglich oder aufgrund der Beschaffenheit des AI-Systems mit hohem Risiko nicht gewährleistet, wird sie je nach Fall auf der Verpackung oder den Begleitunterlagen angebracht.
4. Hinter der CE-Kennzeichnung steht gegebenenfalls die Kennnummer der benannten Stelle, die für die Konformitätsbewertungsverfahren gemäß
Artikel 43
zuständig ist. Die Kennnummer der benannten Stelle ist von der Stelle selbst oder nach ihren Anweisungen vom Dienstleistungserbringer oder seinem Bevollmächtigten anzubringen. Die Kennnummer ist auch in jeglichem Werbematerial anzugeben, in dem darauf hingewiesen wird, dass das AI-System für hohe Risiken die Anforderungen für die CE-Kennzeichnung erfüllt.
5. Unterliegen AI-Systeme mit hohem Risiko anderen Rechtsvorschriften der Union, die ebenfalls die Anbringung der CE-Kennzeichnung vorsehen, so muss die CE-Kennzeichnung angeben, dass das AI-System mit hohem Risiko auch die Anforderungen dieser anderen Rechtsvorschriften erfüllt.
Quelle öffnen
Art. 49

Registrierung

Schreibt Registrierung in der EU-Datenbank vor, bevor bestimmte Hochrisiko-KI in Verkehr gebracht oder in Betrieb genommen wird. Anbieter und teilweise Betreiber müssen die in Anhang VIII vorgesehenen Informationen eintragen; auch Nicht-Hochrisiko-Einstufungen nach Artikel 6 Absatz 3 werden registrierungsrelevant.

Originaltext anzeigen
1. Vor dem Inverkehrbringen oder der Inbetriebnahme eines in
Anhang III
aufgeführten AI-Systems mit hohem Risiko, mit Ausnahme der in
Anhang III
Nummer 2 genannten AI-Systeme mit hohem Risiko, registriert der Anbieter oder gegebenenfalls der Bevollmächtigte sich und sein System in der EU-Datenbank gemäß
Artikel 71
.
2. Vor dem Inverkehrbringen oder der Inbetriebnahme eines KI-Systems, bei dem der Anbieter zu dem Schluss gekommen ist, dass es kein hohes Risiko gemäß
Artikel 6
Absatz 3 darstellt, registriert der Anbieter oder gegebenenfalls der Bevollmächtigte sich selbst und das System in der in
Artikel 71
genannten EU-Datenbank.
3. Vor der Inbetriebnahme oder Nutzung eines in
Anhang III
aufgeführten AI-Systems mit hohem Risiko, mit Ausnahme der in
Anhang III
Nummer 2 aufgeführten AI-Systeme mit hohem Risiko, müssen sich die Betreiber, bei denen es sich um Behörden, Organe, Einrichtungen, Ämter oder Agenturen der Union oder um in ihrem Namen handelnde Personen handelt, selbst registrieren, das System auswählen und seine Nutzung in der EU-Datenbank gemäß
Artikel 71
registrieren.
4. Bei den in
Anhang III
Nummern 1, 6 und 7 genannten AI-Systemen mit hohem Risiko in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement erfolgt die Registrierung gemäß den Absätzen 1, 2 und 3 des vorliegenden Artikels in einem gesicherten, nicht öffentlichen Teil der in
Artikel 71
genannten EU-Datenbank und umfasst nur die folgenden Informationen, die gegebenenfalls in:
(a)
Anhang VIII
Abschnitt A Nummern 1 bis 10, mit Ausnahme der Nummern 6, 8 und 9;
(b) Abschnitt B Nummern 1 bis 5 sowie
Anhang VIII
Nummern 8 und 9;
(c) Abschnitt C Nummern 1 bis 3 des
Anhangs VIII
;
(d) die Nummern 1, 2, 3 und 5 des
Anhangs IX
.
Nur die Kommission und die in
Artikel 74
Absatz 8 genannten nationalen Behörden haben Zugang zu den in Unterabsatz 1 des vorliegenden Absatzes aufgeführten, jeweils eingeschränkten Bereichen der EU-Datenbank.
5. AI-Systeme mit hohem Risiko im Sinne von
Anhang III
Nummer 2 werden auf nationaler Ebene registriert.
Quelle öffnen
Kapitel IV

Transparenzpflichten

Artikel 50 · 1 Abschnitt(e)

Art. 50

Transparenzverpflichtungen für Anbieter und Betreiber von bestimmten KI-Systemen

Regelt Transparenzpflichten außerhalb des Hochrisiko-Regimes: Nutzer müssen wissen, wenn sie direkt mit KI interagieren, KI-generierte oder manipulierte Audio-/Bild-/Video-/Textinhalte müssen maschinenlesbar gekennzeichnet werden, Deepfakes und KI-generierte Texte von öffentlichem Interesse müssen offengelegt werden, und Emotionserkennung bzw. biometrische Kategorisierung muss betroffene Personen informieren. Es gibt eng begrenzte Ausnahmen für offensichtliche Nutzung, redaktionelle Hilfsfunktionen, Kunst/Satire und Strafverfolgung.

Originaltext anzeigen
1. Die Anbieter stellen sicher, dass KI-Systeme, die für eine direkte Interaktion mit natürlichen Personen bestimmt sind, so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen darüber informiert werden, dass sie mit einem KI-System interagieren, es sei denn, dies ist aus der Sicht einer natürlichen Person, die unter Berücksichtigung der Umstände und des Nutzungskontexts angemessen informiert, aufmerksam und umsichtig ist, offensichtlich. Diese Verpflichtung gilt nicht für KI-Systeme, die gesetzlich zur Aufdeckung, Verhütung, Untersuchung oder Verfolgung von Straftaten zugelassen sind, vorbehaltlich angemessener Garantien für die Rechte und Freiheiten Dritter, es sei denn, diese Systeme stehen der Öffentlichkeit zur Verfügung, um eine Straftat zu melden.
2. Die Anbieter von KI-Systemen, einschließlich KI-Systemen für allgemeine Zwecke, die synthetische Audio-, Bild-, Video- oder Textinhalte erzeugen, stellen sicher, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet sind und als künstlich erzeugt oder manipuliert erkannt werden können. Die Anbieter stellen sicher, dass ihre technischen Lösungen wirksam, interoperabel, robust und zuverlässig sind, soweit dies technisch machbar ist, wobei die Besonderheiten und Beschränkungen der verschiedenen Arten von Inhalten, die Kosten der Implementierung und der allgemein anerkannte Stand der Technik, wie er in den einschlägigen technischen Normen zum Ausdruck kommen kann, zu berücksichtigen sind. Diese Verpflichtung gilt nicht, soweit die KI-Systeme eine Hilfsfunktion für die Standardredaktion erfüllen oder die vom Anwender bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändern, oder soweit sie gesetzlich zur Aufdeckung, Verhütung, Untersuchung oder Verfolgung von Straftaten zugelassen sind.
3. Die Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung unterrichten die betroffenen natürlichen Personen über den Betrieb des Systems und verarbeiten die personenbezogenen Daten im Einklang mit den Verordnungen (EU) 2016/679 und (EU) 2018/1725 sowie der Richtlinie (EU) 2016/680, soweit anwendbar. Diese Verpflichtung gilt nicht für KI-Systeme, die zur biometrischen Kategorisierung und Emotionserkennung eingesetzt werden und die vorbehaltlich angemessener Garantien für die Rechte und Freiheiten Dritter und im Einklang mit dem Unionsrecht gesetzlich zur Aufdeckung, Verhütung oder Untersuchung von Straftaten zulässig sind.
4. Wer ein KI-System einsetzt, das Bild-, Audio- oder Videoinhalte erzeugt oder manipuliert, die einen Deep Fake darstellen, muss offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Diese Verpflichtung gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist. Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz genannten Transparenzpflichten auf die Offenlegung des Vorhandenseins eines solchen künstlich erzeugten oder manipulierten Inhalts in einer angemessenen Weise, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.
Wer ein KI-System einsetzt, das Text generiert oder manipuliert, der zu dem Zweck veröffentlicht wird, die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren, muss offenlegen, dass der Text künstlich generiert oder manipuliert wurde. Diese Verpflichtung gilt nicht, wenn die Nutzung gesetzlich erlaubt ist, um Straftaten aufzudecken, zu verhindern, zu untersuchen oder strafrechtlich zu verfolgen, oder wenn die KI-generierten Inhalte einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.
5. Die in den Absätzen 1 bis 4 genannten Informationen werden den betroffenen natürlichen Personen spätestens zum Zeitpunkt der ersten Interaktion oder Exposition in klarer und erkennbarer Weise zur Verfügung gestellt. Die Informationen müssen den geltenden Anforderungen an die Zugänglichkeit entsprechen.
6. (5) Die Absätze 1 bis 4 berühren nicht die in
Kapitel III
festgelegten Anforderungen und Verpflichtungen und lassen andere Transparenzverpflichtungen unberührt, die im Unionsrecht oder im nationalen Recht für Betreiber von KI-Systemen festgelegt sind.
7. Das AI-Büro fördert und erleichtert die Ausarbeitung von Verhaltenskodizes auf Unionsebene, um die wirksame Umsetzung der Verpflichtungen zur Erkennung und Kennzeichnung künstlich erzeugter oder manipulierter Inhalte zu erleichtern. Die Kommission kann Durchführungsrechtsakte erlassen, um diese Verhaltenskodizes nach dem Verfahren des
Artikels 56
Absatz 6 zu genehmigen. Hält sie den Kodex nicht für angemessen, kann die Kommission einen Durchführungsrechtsakt zur Festlegung gemeinsamer Regeln für die Umsetzung dieser Verpflichtungen nach dem Prüfverfahren des
Artikels 98
Absatz 2 erlassen.
Quelle öffnen
Kapitel V

KI-Modelle für allgemeine Zwecke

Artikel 51-56 · 6 Abschnitt(e)

Art. 51

Einstufung von KI-Modellen für allgemeine Zwecke als KI-Modelle für allgemeine Zwecke mit systemischem Risiko

Definiert GPAI-Modelle mit systemischem Risiko. Einstufung erfolgt bei hoher Wirkungskapazität, insbesondere vermutet ab mehr als 10^25 Trainings-FLOPs, oder durch Kommissionsentscheidung anhand Kriterien aus Anhang XIII; Schwellenwerte können technisch angepasst werden.

Originaltext anzeigen
1. Ein KI-Modell für allgemeine Zwecke wird als KI-Modell für allgemeine Zwecke mit Systemrisiko eingestuft, wenn es eine der folgenden Bedingungen erfüllt:
(a) Sie verfügt über hohe Wirkungskapazitäten, die auf der Grundlage geeigneter technischer Instrumente und Methoden, einschließlich Indikatoren und Benchmarks, bewertet werden;
(b) auf der Grundlage einer Entscheidung der Kommission von Amts wegen oder aufgrund einer qualifizierten Warnmeldung des wissenschaftlichen Gremiums unter Berücksichtigung der in
Anhang XIII
genannten Kriterien Fähigkeiten oder Auswirkungen hat, die den unter Buchstabe a genannten gleichwertig sind.
2. Bei einem Allzweck-KI-Modell wird davon ausgegangen, dass es über eine hohe Leistungsfähigkeit im Sinne von Absatz 1 Buchstabe a verfügt, wenn der kumulative Rechenaufwand für sein Training, gemessen in Gleitkommaoperationen, mehr als 10(^25) beträgt.
3. (4) Die Kommission erlässt delegierte Rechtsakte gemäß
Artikel 97
, um die in den Absätzen 1 und 2 dieses Artikels aufgeführten Schwellenwerte zu ändern sowie Benchmarks und Indikatoren im Lichte technologischer Entwicklungen, wie etwa algorithmischer Verbesserungen oder erhöhter Hardware-Effizienz, zu ergänzen, wenn dies erforderlich ist, damit diese Schwellenwerte dem Stand der Technik entsprechen.
Quelle öffnen
Art. 52

Verfahren

Beschreibt das Einstufungsverfahren für GPAI-Modelle mit systemischem Risiko. Anbieter müssen die Kommission innerhalb von zwei Wochen informieren, wenn der Schwellenwert erreicht ist oder erreicht wird; sie können begründet widersprechen, die Kommission kann aber dennoch einstufen und führt eine öffentliche Liste.

Originaltext anzeigen
1. Erfüllt ein KI-Modell für allgemeine Zwecke die in
Artikel 51
Absatz 1 Buchstabe a genannte Bedingung, so unterrichtet der betreffende Anbieter die Kommission unverzüglich, auf jeden Fall aber innerhalb von zwei Wochen, nachdem diese Anforderung erfüllt wurde oder bekannt wurde, dass sie erfüllt werden wird. Diese Mitteilung enthält die erforderlichen Informationen, um nachzuweisen, dass die betreffende Anforderung erfüllt ist. Erhält die Kommission Kenntnis davon, dass ein KI-Allzweckmodell systemische Risiken aufweist, die ihr nicht gemeldet wurden, kann sie beschließen, es als Modell mit systemischem Risiko einzustufen.
2. Der Anbieter eines Mehrzweck-KI-Modells, das die in
Artikel 51
Absatz 1 Buchstabe a genannte Bedingung erfüllt, kann mit seiner Anmeldung hinreichend begründete Argumente vorlegen, um nachzuweisen, dass das Mehrzweck-KI-Modell aufgrund seiner besonderen Merkmale ausnahmsweise keine Systemrisiken birgt und daher nicht als Mehrzweck-KI-Modell mit Systemrisiko eingestuft werden sollte, obwohl es diese Anforderung erfüllt.
3. Kommt die Kommission zu dem Schluss, dass die gemäß Absatz 2 vorgebrachten Argumente nicht hinreichend begründet sind und der betreffende Anbieter nicht nachweisen konnte, dass das KI-Allzweckmodell aufgrund seiner spezifischen Merkmale keine Systemrisiken birgt, weist sie diese Argumente zurück, und das KI-Allzweckmodell wird als KI-Allzweckmodell mit Systemrisiko betrachtet.
4. Die Kommission kann von Amts wegen oder aufgrund einer qualifizierten Warnung des wissenschaftlichen Gremiums gemäß
Artikel 90
Absatz 1 Buchstabe a auf der Grundlage der in
Anhang XIII
festgelegten Kriterien ein KI-Modell für allgemeine Zwecke als mit systemischen Risiken behaftet einstufen.
Der Kommission wird die Befugnis übertragen, gemäß
Artikel 97
delegierte Rechtsakte zu erlassen, um
Anhang XIII
durch Präzisierung und Aktualisierung der in diesem Anhang festgelegten Kriterien zu ändern.
5. Auf begründeten Antrag eines Anbieters, dessen Modell gemäß Absatz 4 als KI-Allzweckmodell mit Systemrisiko eingestuft wurde, berücksichtigt die Kommission den Antrag und kann beschließen, auf der Grundlage der in
Anhang XIII
festgelegten Kriterien neu zu bewerten, ob das KI-Allzweckmodell weiterhin als systemgefährdend angesehen werden kann. Ein solcher Antrag muss objektive, detaillierte und neue Gründe enthalten, die sich seit der Entscheidung über die Ausweisung ergeben haben. Die Anbieter können frühestens sechs Monate nach der Ausweisungsentscheidung eine Neubewertung beantragen. Beschließt die Kommission nach ihrer Neubewertung, die Einstufung als KI-Allzweckmodell mit Systemrisiko beizubehalten, können die Anbieter frühestens sechs Monate nach dieser Entscheidung eine Neubewertung beantragen.
6. Die Kommission stellt sicher, dass eine Liste von KI-Modellen für allgemeine Zwecke mit Systemrisiken veröffentlicht wird, und hält diese Liste auf dem neuesten Stand, unbeschadet der Notwendigkeit, die Rechte des geistigen Eigentums und vertrauliche Geschäftsinformationen oder Geschäftsgeheimnisse im Einklang mit dem Unionsrecht und dem nationalen Recht zu beachten und zu schützen.
Quelle öffnen
Art. 53

Verpflichtungen für Anbieter von KI-Modellen für allgemeine Zwecke

Legt Basis-Pflichten für GPAI-Anbieter fest: technische Dokumentation erstellen und aktuell halten, nachgelagerten Systemanbietern ausreichende Informationen zu Fähigkeiten und Grenzen geben, Urheberrechts-Policy einschließlich Text-and-Data-Mining-Rechtsvorbehalten umsetzen und eine hinreichend detaillierte Trainingsdaten-Zusammenfassung veröffentlichen. Bestimmte Open-Source-Modelle sind teilweise ausgenommen, außer bei systemischem Risiko.

Originaltext anzeigen
1. Anbieter von KI-Modellen für allgemeine Zwecke müssen:
(a) die technische Dokumentation des Modells, einschließlich des Ausbildungs- und Prüfungsverfahrens und der Ergebnisse seiner Bewertung, zu erstellen und auf dem neuesten Stand zu halten, die mindestens die in
Anhang XI
aufgeführten Informationen enthält, um sie dem AI-Büro und den zuständigen nationalen Behörden auf Anfrage zur Verfügung zu stellen;
(b) Informationen und Unterlagen für Anbieter von KI-Systemen, die beabsichtigen, das Mehrzweck-KI-Modell in ihre KI-Systeme zu integrieren, zu erstellen, auf dem neuesten Stand zu halten und zur Verfügung zu stellen. Unbeschadet der Notwendigkeit, Rechte des geistigen Eigentums und vertrauliche Geschäftsinformationen oder Geschäftsgeheimnisse im Einklang mit dem Unionsrecht und dem nationalen Recht zu beachten und zu schützen, müssen die Informationen und Unterlagen:
(i) die Anbieter von KI-Systemen in die Lage zu versetzen, die Fähigkeiten und Grenzen des KI-Modells für allgemeine Zwecke gut zu verstehen und ihren Verpflichtungen gemäß dieser Verordnung nachzukommen, und
(ii) mindestens die in
Anhang XII
aufgeführten Elemente enthalten;
(c) eine Politik zur Einhaltung des Unionsrechts im Bereich des Urheberrechts und der verwandten Schutzrechte einzuführen und insbesondere einen gemäß Artikel 4 Absatz 3 der Richtlinie (EU) 2019/790 geäußerten Rechtsvorbehalt zu ermitteln und einzuhalten, auch mit Hilfe modernster Technologien;
(d) eine hinreichend detaillierte Zusammenfassung der für das Training des allgemeinen KI-Modells verwendeten Inhalte nach einer vom Amt für künstliche Intelligenz bereitgestellten Vorlage zu erstellen und öffentlich zugänglich zu machen.
2. Die in Absatz 1 Buchstaben a und b genannten Verpflichtungen gelten nicht für Anbieter von KI-Modellen, die unter einer freien und quelloffenen Lizenz veröffentlicht werden, die den Zugang, die Nutzung, die Änderung und die Verbreitung des Modells gestattet und deren Parameter, einschließlich der Gewichte, der Informationen über die Modellarchitektur und der Informationen über die Modellnutzung, öffentlich zugänglich gemacht werden. Diese Ausnahme gilt nicht für KI-Modelle für allgemeine Zwecke mit systemischen Risiken.
3. Die Anbieter von KI-Modellen für allgemeine Zwecke arbeiten bei der Wahrnehmung ihrer Zuständigkeiten und Befugnisse im Rahmen dieser Verordnung erforderlichenfalls mit der Kommission und den zuständigen nationalen Behörden zusammen.
4. Anbieter von KI-Modellen für allgemeine Zwecke können sich auf Verhaltenskodizes im Sinne von
Artikel 56
stützen, um die Einhaltung der in Absatz 1 des vorliegenden Artikels genannten Verpflichtungen nachzuweisen, bis eine harmonisierte Norm veröffentlicht wird. Die Einhaltung der harmonisierten europäischen Normen begründet für die Anbieter die Konformitätsvermutung, soweit diese Normen diese Verpflichtungen abdecken. Anbieter von KI-Modellen für allgemeine Zwecke, die sich nicht an einen genehmigten Verhaltenskodex halten oder einer harmonisierten europäischen Norm nicht entsprechen, müssen für die Bewertung durch die Kommission alternative angemessene Mittel zur Einhaltung der Anforderungen nachweisen.
5. Um die Einhaltung von
Anhang XI
, insbesondere von Nummer 2 Buchstaben d und e, zu erleichtern, wird der Kommission die Befugnis übertragen, delegierte Rechtsakte gemäß
Artikel 97
zu erlassen, um die Mess- und Berechnungsmethoden im Einzelnen festzulegen, damit eine vergleichbare und überprüfbare Dokumentation möglich ist.
6. Der Kommission wird die Befugnis übertragen, gemäß
Artikel 97
Absatz 2 delegierte Rechtsakte zu erlassen, um die
Anhänge XI
und
XII
unter Berücksichtigung der technologischen Entwicklungen zu ändern.
7. Alle nach diesem Artikel erhaltenen Informationen oder Unterlagen, einschließlich Geschäftsgeheimnisse, sind gemäß den Vertraulichkeitsverpflichtungen nach
Artikel 78
zu behandeln.
Quelle öffnen
Art. 54

Bevollmächtigte Vertreter von Anbietern von KI-Modellen für allgemeine Zwecke

Verlangt von GPAI-Anbietern außerhalb der EU einen schriftlich mandatierten EU-Bevollmächtigten, bevor das Modell auf dem EU-Markt bereitgestellt wird. Der Bevollmächtigte hält Dokumentation bereit, kooperiert mit AI Office und Behörden und kann bei Pflichtverletzungen das Mandat beenden.

Originaltext anzeigen
1. Vor dem Inverkehrbringen eines KI-Modells für allgemeine Zwecke auf dem Unionsmarkt müssen in Drittländern niedergelassene Anbieter durch ein schriftliches Mandat einen in der Union niedergelassenen Bevollmächtigten benennen.
2. Der Dienstleistungserbringer muss seinem Bevollmächtigten die Möglichkeit geben, die in dem vom Dienstleistungserbringer erteilten Auftrag genannten Aufgaben zu erfüllen.
3. Der Bevollmächtigte nimmt die Aufgaben wahr, die in dem vom Dienstleistungserbringer erhaltenen Mandat festgelegt sind. Er legt dem AI-Büro auf Anfrage eine Kopie des Mandats in einer der Amtssprachen der Organe der Union vor. Für die Zwecke dieser Verordnung ermächtigt das Mandat den Bevollmächtigten, die folgenden Aufgaben wahrzunehmen:
(a) Sie prüft, ob die in
Anhang XI
genannten technischen Unterlagen erstellt wurden und ob der Dienstleistungserbringer alle in
Artikel 53
und gegebenenfalls in
Artikel 55
genannten Verpflichtungen erfüllt hat;
(b) eine Kopie der technischen Unterlagen gemäß
Anhang XI
für das AI-Büro und die zuständigen nationalen Behörden während eines Zeitraums von zehn Jahren nach dem Inverkehrbringen des AI-Allzweckmodells sowie die Kontaktdaten des Anbieters, der den Bevollmächtigten benannt hat, zur Verfügung zu halten;
(c) dem AI-Büro auf begründeten Antrag alle Informationen und Unterlagen, einschließlich der unter Buchstabe b genannten, zur Verfügung stellen, die für den Nachweis der Einhaltung der Verpflichtungen aus diesem Kapitel erforderlich sind;
(d) auf begründeten Antrag mit dem Amt für künstliche Intelligenz und den zuständigen Behörden bei allen Maßnahmen zusammenzuarbeiten, die sie im Zusammenhang mit dem KI-Allzweckmodell ergreifen, auch wenn das Modell in KI-Systeme integriert wird, die in der Union in Verkehr gebracht oder in Betrieb genommen werden.
4. Das Mandat ermächtigt den Bevollmächtigten, sich in allen Fragen, die mit der Einhaltung dieser Verordnung zusammenhängen, zusätzlich zum Dienstleistungserbringer oder an seiner Stelle an das AI-Büro oder an die zuständigen Behörden zu wenden.
5. Der Bevollmächtigte beendet das Mandat, wenn er der Auffassung ist oder Grund zu der Annahme hat, dass der Dienstleistungserbringer gegen seine Verpflichtungen aus dieser Verordnung verstößt. In diesem Fall unterrichtet er auch das AI-Büro unverzüglich über die Beendigung des Mandats und die Gründe dafür.
6. Die in diesem Artikel festgelegte Verpflichtung gilt nicht für Anbieter von KI-Modellen für allgemeine Zwecke, die unter einer freien und quelloffenen Lizenz veröffentlicht werden, die den Zugang, die Nutzung, die Änderung und die Verbreitung des Modells gestattet, und deren Parameter, einschließlich der Gewichte, der Informationen über die Modellarchitektur und der Informationen über die Modellnutzung, öffentlich zugänglich gemacht werden, es sei denn, die KI-Modelle für allgemeine Zwecke stellen systemische Risiken dar.
Quelle öffnen
Art. 55

Verpflichtungen für Anbieter von KI-Modellen für allgemeine Zwecke mit systemischem Risiko

Verschärft Pflichten für GPAI-Modelle mit systemischem Risiko: standardisierte Modellbewertungen und adversarial Testing, Bewertung und Minderung systemischer Risiken auf EU-Ebene, Nachverfolgung und Meldung schwerwiegender Vorfälle sowie angemessene Cybersicherheit für Modell und Infrastruktur. Verhaltenskodizes oder harmonisierte Normen können als Nachweisweg dienen.

Originaltext anzeigen
1. Zusätzlich zu den in den
Artikeln 53
und
54
aufgeführten Verpflichtungen müssen die Anbieter von KI-Modellen für allgemeine Zwecke mit Systemrisiko:
(a) die Modellevaluierung nach standardisierten Protokollen und Instrumenten, die dem Stand der Technik entsprechen, durchzuführen, einschließlich der Durchführung und Dokumentation von Gegentests des Modells, um Systemrisiken zu ermitteln und zu mindern;
(b) Bewertung und Eindämmung möglicher Systemrisiken auf Unionsebene, einschließlich ihrer Quellen, die sich aus der Entwicklung, dem Inverkehrbringen oder der Verwendung von KI-Allzweckmodellen mit Systemrisiko ergeben können;
(c) relevante Informationen über schwerwiegende Vorfälle und mögliche Abhilfemaßnahmen zu deren Behebung zu verfolgen, zu dokumentieren und dem AI-Büro und gegebenenfalls den zuständigen nationalen Behörden unverzüglich zu melden;
(d) ein angemessenes Maß an Cybersicherheit für das KI-Allzweckmodell mit systemischem Risiko und die physische Infrastruktur des Modells gewährleisten.
2. Die Anbieter von KI-Modellen für allgemeine Zwecke mit Systemrisiko können sich auf Verhaltenskodizes im Sinne von
Artikel 56
stützen, um die Einhaltung der in Absatz 1 des vorliegenden Artikels genannten Verpflichtungen nachzuweisen, bis ein harmonisierter Standard veröffentlicht wird. Bei Einhaltung der harmonisierten europäischen Normen gilt für die Anbieter die Konformitätsvermutung, soweit diese Normen diese Verpflichtungen abdecken. Anbieter von KI-Modellen für allgemeine Zwecke mit systemischen Risiken, die sich nicht an einen genehmigten Verhaltenskodex oder eine harmonisierte europäische Norm halten, müssen für die Bewertung durch die Kommission alternative angemessene Mittel zur Einhaltung der Vorschriften nachweisen.
3. Alle nach diesem Artikel erhaltenen Informationen oder Unterlagen, einschließlich Geschäftsgeheimnisse, sind gemäß den Vertraulichkeitsverpflichtungen nach
Artikel 78
zu behandeln.
Quelle öffnen
Art. 56

Verhaltenskodizes

Regelt Verhaltenskodizes für GPAI-Pflichten. Sie sollen praktische Vorgaben für Dokumentation, Transparenz, Copyright, Risikobewertung, Incident-Meldung, Cybersicherheit und Governance liefern; das AI Office und der Ausschuss begleiten Entwicklung, Bewertung und Genehmigung.

Originaltext anzeigen
1. Das AI-Büro fördert und erleichtert die Ausarbeitung von Verhaltenskodizes auf Unionsebene, um zur ordnungsgemäßen Anwendung dieser Verordnung beizutragen, wobei internationale Ansätze berücksichtigt werden.
2. Das AI-Büro und der Rat sind bestrebt sicherzustellen, dass die Verhaltenskodizes zumindest die in den
Artikeln 53
und
55
vorgesehenen Verpflichtungen abdecken, einschließlich der folgenden Punkte:
(a) die Mittel, mit denen sichergestellt wird, dass die in
Artikel 53
Absatz 1 Buchstaben a und b genannten Informationen im Lichte der Markt- und Technologieentwicklung auf dem neuesten Stand gehalten werden;
(b) die angemessene Ausführlichkeit der Zusammenfassung der für die Ausbildung verwendeten Inhalte;
(c) die Ermittlung der Art und des Charakters der Systemrisiken auf Unionsebene, gegebenenfalls einschließlich ihrer Quellen;
(d) die Maßnahmen, Verfahren und Modalitäten für die Bewertung und das Management der Systemrisiken auf Unionsebene, einschließlich ihrer Dokumentation, die in einem angemessenen Verhältnis zu den Risiken stehen, deren Schwere und Wahrscheinlichkeit berücksichtigen und den besonderen Herausforderungen Rechnung tragen, die sich bei der Bewältigung dieser Risiken angesichts der möglichen Art und Weise ergeben, in der diese Risiken entlang der AI-Wertschöpfungskette entstehen und sich verwirklichen können.
3. Das Amt für künstliche Intelligenz kann alle Anbieter von allgemeinen künstlichen Intelligenzmodellen sowie die jeweils zuständigen nationalen Behörden auffordern, sich an der Ausarbeitung von Verhaltenskodizes zu beteiligen. Organisationen der Zivilgesellschaft, die Industrie, die Wissenschaft und andere einschlägige Akteure, wie nachgeschaltete Anbieter und unabhängige Sachverständige, können den Prozess unterstützen.
4. Das AI-Büro und der Verwaltungsrat sind bestrebt sicherzustellen, dass die Verhaltenskodizes ihre spezifischen Ziele klar darlegen und Verpflichtungen oder Maßnahmen, gegebenenfalls einschließlich zentraler Leistungsindikatoren, enthalten, um die Erreichung dieser Ziele zu gewährleisten, und dass sie die Bedürfnisse und Interessen aller interessierten Parteien, einschließlich der betroffenen Personen, auf Unionsebene gebührend berücksichtigen.
5. Das AI-Büro ist bestrebt sicherzustellen, dass die Teilnehmer an den Verhaltenskodizes dem AI-Büro regelmäßig über die Umsetzung der Verpflichtungen, die ergriffenen Maßnahmen und deren Ergebnisse berichten, gegebenenfalls auch gemessen an den zentralen Leistungsindikatoren. Die zentralen Leistungsindikatoren und die Berichterstattungsverpflichtungen tragen den Unterschieden in der Größe und Kapazität der einzelnen Teilnehmer Rechnung.
(6) Das Amt für künstliche Intelligenz und der Verwaltungsrat überwachen und bewerten regelmäßig, inwieweit die Teilnehmer die Ziele der Verhaltenskodizes erreichen und zu der ordnungsgemäßen Anwendung dieser Verordnung beitragen. Das Amt für künstliche Intelligenz und der Verwaltungsrat prüfen, ob die Verhaltenskodizes die in
den Artikeln 53
und
55
vorgesehenen Verpflichtungen abdecken, und überwachen und bewerten regelmäßig, inwieweit ihre Ziele erreicht werden. Sie veröffentlichen ihre Bewertung der Angemessenheit der Verhaltenskodizes.
Die Kommission kann im Wege eines Durchführungsrechtsakts einen Verhaltenskodex genehmigen und ihm allgemeine Gültigkeit innerhalb der Union verleihen. Dieser Durchführungsrechtsakt wird gemäß dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
7. Das Amt für künstliche Intelligenz kann alle Anbieter von Mehrzweck-KI-Modellen auffordern, sich den Verhaltenskodizes anzuschließen. Bei Anbietern von KI-Modellen für allgemeine Zwecke, die keine systemischen Risiken darstellen, kann dieser Beitritt auf die in
Artikel 53
vorgesehenen Verpflichtungen beschränkt werden, es sei denn, sie erklären ausdrücklich ihr Interesse, sich dem vollständigen Kodex anzuschließen.
8. Das AI-Büro fördert und erleichtert gegebenenfalls auch die Überprüfung und Anpassung der Verhaltenskodizes, insbesondere im Hinblick auf neue Normen. Das AI-Büro ist bei der Bewertung der verfügbaren Normen behilflich.
9. Die Verhaltenskodizes müssen spätestens bis zum 2. Mai 2025 fertiggestellt sein. Das AI-Büro unternimmt die erforderlichen Schritte, einschließlich der Aufforderung an die Anbieter gemäß Absatz 7. Kann bis zum 2. August 2025 kein Verhaltenskodex fertiggestellt werden oder hält das AI-Büro diesen nach seiner Bewertung gemäß Absatz 6 des vorliegenden Artikels nicht für angemessen, so kann die Kommission im Wege von Durchführungsrechtsakten gemeinsame Vorschriften für die Umsetzung der in den
Artikeln 53
und
55
vorgesehenen Verpflichtungen, einschließlich der in Absatz 2 des vorliegenden Artikels genannten Punkte, erlassen. Diese Durchführungsrechtsakte werden gemäß dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
Quelle öffnen
Kapitel VI

Innovationsförderung

Artikel 57-63 · 7 Abschnitt(e)

Art. 57

Regulierungssandkästen für KI

Verpflichtet Mitgliedstaaten, bis 2. August 2026 mindestens eine KI-Regulierungssandbox einzurichten oder daran teilzunehmen. Sandboxes bieten kontrollierte Tests unter Behördenbegleitung, sollen Innovation und Compliance-Lernen verbinden und besonders KMU/Start-ups Zugang erleichtern.

Originaltext anzeigen
1. Die Mitgliedstaaten stellen sicher, dass ihre zuständigen Behörden auf nationaler Ebene mindestens eine Sandbox für KI-Regulierung einrichten, die bis zum 2. August 2026 betriebsbereit sein muss. Dieser Sandkasten kann auch gemeinsam mit den zuständigen Behörden anderer Mitgliedstaaten eingerichtet werden. Die Kommission kann technische Unterstützung, Beratung und Instrumente für die Einrichtung und den Betrieb von KI-Sandkästen zur Verfügung stellen. Die Verpflichtung gemäß Unterabsatz 1 kann auch durch die Teilnahme an einer bestehenden Sandbox erfüllt werden, sofern diese Teilnahme ein gleichwertiges Maß an nationaler Abdeckung für die teilnehmenden Mitgliedstaaten bietet.
2. Weitere KI-Sandkästen auf regionaler oder lokaler Ebene oder gemeinsam mit den zuständigen Behörden anderer Mitgliedstaaten können ebenfalls eingerichtet werden.
3. Der Europäische Datenschutzbeauftragte kann auch eine KI-Regulierungssandbox für Organe, Einrichtungen, Ämter und Agenturen der Union einrichten und die Rollen und Aufgaben der zuständigen nationalen Behörden nach Maßgabe dieses Kapitels wahrnehmen.
4. Die Mitgliedstaaten stellen sicher, dass die in den Absätzen 1 und 2 genannten zuständigen Behörden ausreichende Ressourcen bereitstellen, um diesem Artikel wirksam und rechtzeitig nachzukommen. Gegebenenfalls arbeiten die zuständigen nationalen Behörden mit anderen einschlägigen Behörden zusammen und können die Beteiligung anderer Akteure innerhalb des KI-Ökosystems zulassen. Dieser Artikel berührt nicht andere nach Unionsrecht oder nationalem Recht eingerichtete regulatorische Sandkästen. Die Mitgliedstaaten gewährleisten ein angemessenes Maß an Zusammenarbeit zwischen den Behörden, die diese anderen Sandkästen überwachen, und den zuständigen nationalen Behörden.
5. Die gemäß Absatz 1 eingerichteten KI-Sandkästen bieten ein kontrolliertes Umfeld, das die Innovation fördert und die Entwicklung, Schulung, Erprobung und Validierung innovativer KI-Systeme für einen begrenzten Zeitraum erleichtert, bevor diese gemäß einem zwischen den Anbietern oder potenziellen Anbietern und der zuständigen Behörde vereinbarten spezifischen Sandkastenplan in Verkehr gebracht oder in Betrieb genommen werden. Solche Sandkästen können auch Tests unter realen Bedingungen umfassen, die darin überwacht werden.
6. Die zuständigen Behörden bieten im Rahmen des Sandkastens für KI-Regulierung gegebenenfalls Anleitung, Überwachung und Unterstützung, um Risiken insbesondere für die Grundrechte, die Gesundheit und die Sicherheit, die Erprobung, die Maßnahmen zur Risikominderung und ihre Wirksamkeit in Bezug auf die Verpflichtungen und Anforderungen dieser Verordnung und gegebenenfalls anderer Rechtsvorschriften der Union und der Mitgliedstaaten, die im Rahmen des Sandkastens überwacht werden, zu ermitteln.
7. Die zuständigen Behörden stellen den Anbietern und potenziellen Anbietern, die an der KI-Sandbox teilnehmen, Leitlinien zu den regulatorischen Erwartungen und zur Erfüllung der in dieser Verordnung festgelegten Anforderungen und Verpflichtungen zur Verfügung. Auf Anfrage des Anbieters oder potenziellen Anbieters des KI-Systems legt die zuständige Behörde einen schriftlichen Nachweis über die erfolgreich durchgeführten Tätigkeiten im Sandkasten vor. Die zuständige Behörde legt auch einen Abschlussbericht vor, in dem die im Sandkasten durchgeführten Tätigkeiten und die damit verbundenen Ergebnisse und Lernerfolge im Einzelnen aufgeführt sind. Die Anbieter können diese Unterlagen verwenden, um die Einhaltung dieser Verordnung im Rahmen des Konformitätsbewertungsverfahrens oder der einschlägigen Marktüberwachungstätigkeiten nachzuweisen. Die Marktüberwachungsbehörden und die notifizierten Stellen berücksichtigen die Berichte über die Beendigung des Projekts und die von der zuständigen nationalen Behörde vorgelegten schriftlichen Nachweise, um die Konformitätsbewertungsverfahren in angemessenem Umfang zu beschleunigen.
8. Vorbehaltlich der Vertraulichkeitsbestimmungen in
Artikel 78
und mit Zustimmung des Anbieters oder potenziellen Anbieters sind die Kommission und der Ausschuss befugt, Zugang zu den Austrittsberichten zu erhalten, und berücksichtigen diese gegebenenfalls bei der Wahrnehmung ihrer Aufgaben im Rahmen dieser Verordnung. Wenn sowohl der Dienstleistungserbringer oder der potenzielle Dienstleistungserbringer als auch die zuständige nationale Behörde ausdrücklich zustimmen, kann der Austrittsbericht über die in diesem Artikel genannte zentrale Informationsplattform öffentlich zugänglich gemacht werden.
9. Die Einrichtung von Sandkästen für KI-Regulierung soll zu den folgenden Zielen beitragen:
(a) Verbesserung der Rechtssicherheit, um die Einhaltung dieser Verordnung oder gegebenenfalls anderer geltender Rechtsvorschriften der Union und der Mitgliedstaaten zu erreichen;
(b) Unterstützung des Austauschs bewährter Verfahren durch Zusammenarbeit mit den an der KI-Sandbox beteiligten Behörden;
(c) Förderung von Innovation und Wettbewerbsfähigkeit und Erleichterung der Entwicklung eines KI-Ökosystems;
(d) Beitrag zum faktengestützten Lernen im Bereich der Regulierung;
(e) Erleichterung und Beschleunigung des Zugangs zum Unionsmarkt für KI-Systeme, insbesondere wenn sie von KMU, einschließlich Start-ups, angeboten werden.
10. Die zuständigen nationalen Behörden stellen sicher, dass die nationalen Datenschutzbehörden und die anderen nationalen oder zuständigen Behörden, die den Zugang zu Daten gewähren oder unterstützen, in dem Maße, in dem die innovativen KI-Systeme die Verarbeitung personenbezogener Daten beinhalten oder anderweitig in den Aufsichtsbereich anderer nationaler Behörden oder zuständiger Behörden fallen, am Betrieb des KI-Sandkastens beteiligt und in die Überwachung dieser Aspekte im Rahmen ihrer jeweiligen Aufgaben und Befugnisse einbezogen werden.
11. Die KI-regulatorischen Sandkästen berühren nicht die Aufsichts- oder Korrekturbefugnisse der zuständigen Behörden, die die Sandkästen überwachen, auch nicht auf regionaler oder lokaler Ebene. Alle bei der Entwicklung und Erprobung solcher KI-Systeme festgestellten erheblichen Risiken für Gesundheit und Sicherheit sowie für die Grundrechte müssen angemessen gemindert werden. Die zuständigen nationalen Behörden sind befugt, den Testprozess oder die Teilnahme an der Sandbox vorübergehend oder dauerhaft auszusetzen, wenn keine wirksamen Abhilfemaßnahmen möglich sind, und unterrichten das KI-Büro über diese Entscheidung. Die zuständigen nationalen Behörden üben ihre Aufsichtsbefugnisse innerhalb der Grenzen des einschlägigen Rechts aus und nutzen ihren Ermessensspielraum bei der Umsetzung von Rechtsvorschriften in Bezug auf ein bestimmtes KI-regulatorisches Sandkastenprojekt mit dem Ziel, Innovationen im Bereich der KI in der Union zu unterstützen.
12. Anbieter und potenzielle Anbieter, die an der Sandbox für KI-Regulierung teilnehmen, haften weiterhin nach geltendem Unionsrecht und nationalem Haftungsrecht für Schäden, die Dritten infolge der in der Sandbox durchgeführten Experimente entstehen. Unter der Voraussetzung, dass die potenziellen Anbieter den spezifischen Plan und die Bedingungen für ihre Teilnahme einhalten und die von der zuständigen nationalen Behörde gegebenen Hinweise nach Treu und Glauben befolgen, werden von den Behörden jedoch keine Bußgelder für Verstöße gegen diese Verordnung verhängt. Waren andere zuständige Behörden, die für andere Rechtsvorschriften der Union und der Mitgliedstaaten zuständig sind, aktiv an der Überwachung des KI-Systems in der Sandbox beteiligt und haben sie Leitlinien für die Einhaltung der Vorschriften bereitgestellt, so werden in Bezug auf diese Rechtsvorschriften keine Bußgelder verhängt.
13. Die AI-Sandkästen werden so konzipiert und umgesetzt, dass sie gegebenenfalls die grenzüberschreitende Zusammenarbeit zwischen den zuständigen nationalen Behörden erleichtern.
14. Die zuständigen nationalen Behörden koordinieren ihre Tätigkeiten und arbeiten im Rahmen des Ausschusses zusammen.
15. Die zuständigen nationalen Behörden unterrichten das AI-Büro und den Ausschuss über die Einrichtung eines Sandkastens und können sie um Unterstützung und Beratung bitten. Das KI-Büro macht eine Liste der geplanten und bestehenden Sandkästen öffentlich zugänglich und hält sie auf dem neuesten Stand, um eine stärkere Interaktion in den Sandkästen der KI-Regulierung und die grenzüberschreitende Zusammenarbeit zu fördern.
16. Die zuständigen nationalen Behörden legen dem AI-Büro und dem Ausschuss ein Jahr nach Einrichtung des AI-Sandkastens und danach jedes Jahr bis zur Beendigung des Sandkastens jährliche Berichte sowie einen Abschlussbericht vor. Diese Berichte enthalten Informationen über die Fortschritte und Ergebnisse der Umsetzung dieser Sandkästen, einschließlich bewährter Praktiken, Zwischenfälle, Erfahrungen und Empfehlungen zu ihrer Einrichtung und gegebenenfalls zur Anwendung und etwaigen Überarbeitung dieser Verordnung, einschließlich ihrer delegierten Rechtsakte und Durchführungsrechtsakte, sowie zur Anwendung anderer Rechtsvorschriften der Union, die von den zuständigen Behörden innerhalb des Sandkastens überwacht werden. Die zuständigen nationalen Behörden stellen diese Jahresberichte oder Zusammenfassungen davon der Öffentlichkeit online zur Verfügung. Die Kommission trägt den Jahresberichten gegebenenfalls bei der Wahrnehmung ihrer Aufgaben im Rahmen dieser Verordnung Rechnung.
17. Die Kommission entwickelt eine einheitliche und spezielle Schnittstelle mit allen relevanten Informationen zu den KI-Sandkästen, um es den Interessenträgern zu ermöglichen, mit den KI-Sandkästen zu interagieren, Anfragen an die zuständigen Behörden zu richten und unverbindliche Leitlinien für die Konformität innovativer Produkte, Dienste und Geschäftsmodelle, in die KI-Technologien eingebettet sind, im Einklang mit
Artikel 62
Absatz 1 Buchstabe c einzuholen. Die Kommission koordiniert proaktiv mit den zuständigen nationalen Behörden, wo dies relevant ist.
Quelle öffnen
Art. 58

Detaillierte Vorkehrungen für KI-Regulierungssandkästen und deren Funktionsweise

Konkretisiert Funktionsweise der KI-Sandboxes: Die Kommission legt einheitliche Modalitäten fest, Sandboxes brauchen klare Ziele, Teilnahmebedingungen, Monitoring, Abschlussberichte und rechtliche Orientierung. Teilnehmer bleiben für Schäden verantwortlich, kooperierende Behörden sollen aber bei gutgläubiger Einhaltung mildernd vorgehen.

Originaltext anzeigen
(1) Um eine Fragmentierung in der Union zu vermeiden, erlässt die Kommission Durchführungsrechtsakte zur Festlegung der detaillierten Modalitäten für die Einrichtung, Entwicklung, Durchführung, den Betrieb und die Beaufsichtigung der KI-Reallabore. Die Durchführungsrechtsakte enthalten gemeinsame Grundsätze zu folgenden Themen:
a) Förderfähigkeits- und Auswahlkriterien für die Teilnahme an der KI-Real-Sandbox;
b) Verfahren für die Beantragung, die Teilnahme, die Überwachung, den Ausstieg aus und die Beendigung der KI-Real-Sandbox, einschließlich des Sandbox-Plans und des Ausstiegsberichts;
(c) die für die Teilnehmer geltenden Bestimmungen und Bedingungen. Diese Durchführungsrechtsakte werden nach dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
2. Die in Absatz 1 genannten Durchführungsrechtsakte müssen sicherstellen:
(a) dass die Sandkästen der KI-Regulierung jedem antragstellenden Anbieter oder potenziellen Anbieter eines KI-Systems offen stehen, der die Eignungs- und Auswahlkriterien erfüllt, die transparent und fair sein müssen, und dass die zuständigen nationalen Behörden die Antragsteller innerhalb von drei Monaten nach Antragstellung über ihre Entscheidung informieren;
(b) dass die KI-Sandkästen einen breiten und gleichberechtigten Zugang ermöglichen und mit der Nachfrage nach einer Beteiligung Schritt halten; Anbieter und potenzielle Anbieter können auch in Partnerschaften mit Betreibern und anderen relevanten Dritten Anträge einreichen;
(c) dass die detaillierten Regelungen und Bedingungen für KI-Sandkästen so weit wie möglich die Flexibilität der zuständigen nationalen Behörden bei der Einrichtung und dem Betrieb ihrer KI-Sandkästen unterstützen;
(d) dass der Zugang zu den KI-Sandkästen für KMU, einschließlich Start-ups, kostenlos ist, unbeschadet außergewöhnlicher Kosten, die die zuständigen nationalen Behörden in fairer und verhältnismäßiger Weise einfordern können;
(e) sie erleichtern Anbietern und potenziellen Anbietern durch die Lernergebnisse der AI-Sandkästen die Einhaltung der Konformitätsbewertungspflichten gemäß dieser Verordnung und die freiwillige Anwendung der in
Artikel 95
genannten Verhaltenskodizes;
(f) dass KI-regulatorische Sandkästen die Beteiligung anderer relevanter Akteure innerhalb des KI-Ökosystems erleichtern, z. B. notifizierte Stellen und Normungsorganisationen, KMU, einschließlich Start-ups, Unternehmen, Innovatoren, Test- und Versuchseinrichtungen, Forschungs- und Versuchslabors und europäische Zentren für digitale Innovation, Exzellenzzentren und einzelne Forscher, um die Zusammenarbeit mit dem öffentlichen und privaten Sektor zu ermöglichen und zu erleichtern;
(g) dass die Verfahren, Prozesse und administrativen Anforderungen für die Beantragung, Auswahl, Teilnahme und Beendigung des KI-Sandkastens einfach, leicht verständlich und klar kommuniziert sind, um die Teilnahme von KMU, einschließlich Start-ups, mit begrenzten rechtlichen und administrativen Kapazitäten zu erleichtern, und in der gesamten Union gestrafft werden, um eine Fragmentierung zu vermeiden, und dass die Teilnahme an einem von einem Mitgliedstaat oder dem Europäischen Datenschutzbeauftragten eingerichteten KI-Sandkasten gegenseitig und einheitlich anerkannt wird und in der gesamten Union die gleichen rechtlichen Auswirkungen hat;
(h) die Teilnahme an der AI-Sandbox ist auf einen Zeitraum begrenzt, der der Komplexität und dem Umfang des Projekts angemessen ist und von der zuständigen nationalen Behörde verlängert werden kann;
(i) dass KI-Sandkästen für Regulierungszwecke die Entwicklung von Instrumenten und Infrastrukturen für die Prüfung, das Benchmarking, die Bewertung und die Erläuterung von Dimensionen von KI-Systemen, die für das Lernen im Bereich der Regulierung relevant sind, wie Genauigkeit, Robustheit und Cybersicherheit, sowie von Maßnahmen zur Abschwächung von Risiken für die Grundrechte und die Gesellschaft als Ganzes erleichtern.
(3) Potenzielle Anbieter in den KI-Reallabors, insbesondere KMU und Start-up-Unternehmen, werden gegebenenfalls auf Dienste vor der Einführung wie Leitlinien zur Umsetzung dieser Verordnung, auf andere wertschöpfende Dienste wie Unterstützung bei Normungsdokumenten und Zertifizierungs-, Prüf- und Versuchseinrichtungen, europäische digitale Innovationszentren und Exzellenzzentren verwiesen.
4. Erwägen die zuständigen nationalen Behörden die Genehmigung von Tests unter realen Bedingungen, die im Rahmen einer gemäß diesem Artikel einzurichtenden KI-Regulierungssandbox überwacht werden, so vereinbaren sie mit den Teilnehmern ausdrücklich die Bedingungen für solche Tests und insbesondere die geeigneten Schutzmaßnahmen, um die Grundrechte, die Gesundheit und die Sicherheit zu schützen. Gegebenenfalls arbeiten sie mit anderen zuständigen nationalen Behörden zusammen, um eine einheitliche Vorgehensweise in der gesamten Union zu gewährleisten.
Quelle öffnen
Art. 59

Weiterverarbeitung personenbezogener Daten für die Entwicklung bestimmter KI-Systeme im öffentlichen Interesse in der KI-Regulierungssandbox

Erlaubt in Sandboxes unter engen Bedingungen die Weiterverarbeitung rechtmäßig erhobener personenbezogener Daten für KI im öffentlichen Interesse. Erforderlich sind u. a. erheblicher öffentlicher Nutzen, Datenminimierung, Schutzmaßnahmen, keine Weitergabe außerhalb der Sandbox, Löschung/Anonymisierung und Dokumentation.

Originaltext anzeigen
1. In der KI-Sandbox dürfen personenbezogene Daten, die rechtmäßig für andere Zwecke erhoben wurden, ausschließlich zum Zweck der Entwicklung, des Trainings und der Erprobung bestimmter KI-Systeme in der Sandbox verarbeitet werden, wenn alle folgenden Bedingungen erfüllt sind:
(a) KI-Systeme werden von einer Behörde oder einer anderen natürlichen oder juristischen Person zur Wahrung erheblicher öffentlicher Interessen und in einem oder mehreren der folgenden Bereiche entwickelt:
(i) öffentliche Sicherheit und öffentliche Gesundheit, einschließlich Krankheitserkennung, -diagnose, -prävention und -behandlung sowie Verbesserung der Gesundheitssysteme;
(ii) ein hohes Maß an Schutz und Verbesserung der Umweltqualität, Schutz der biologischen Vielfalt, Schutz vor Umweltverschmutzung, Maßnahmen für einen umweltfreundlichen Übergang, Maßnahmen zur Eindämmung des Klimawandels und Anpassungsmaßnahmen;
(iii) energetische Nachhaltigkeit;
(iv) Sicherheit und Widerstandsfähigkeit von Verkehrssystemen und Mobilität, kritischen Infrastrukturen und Netzen;
(v) Effizienz und Qualität der öffentlichen Verwaltung und der öffentlichen Dienstleistungen;
(b) die verarbeiteten Daten zur Erfüllung einer oder mehrerer der in
Kapitel III
Abschnitt 2 genannten Anforderungen erforderlich sind, sofern diese Anforderungen nicht durch die Verarbeitung anonymisierter, synthetischer oder sonstiger nicht personenbezogener Daten wirksam erfüllt werden können;
(c) es gibt wirksame Überwachungsmechanismen, mit denen festgestellt werden kann, ob während der Sandbox-Experimente hohe Risiken für die Rechte und Freiheiten der betroffenen Personen im Sinne von Artikel 35 der Verordnung (EU) 2016/679 und Artikel 39 der Verordnung (EU) 2018/1725 auftreten können, sowie Reaktionsmechanismen, um diese Risiken unverzüglich zu mindern und die Verarbeitung erforderlichenfalls zu stoppen;
(d) alle im Rahmen der Sandbox zu verarbeitenden personenbezogenen Daten befinden sich in einer funktional getrennten, isolierten und geschützten Datenverarbeitungsumgebung unter der Kontrolle des potenziellen Anbieters und nur befugte Personen haben Zugang zu diesen Daten;
(e) Die Anbieter können die ursprünglich gesammelten Daten nur im Einklang mit dem Datenschutzrecht der Union weitergeben; in der Sandbox erstellte personenbezogene Daten können nicht außerhalb der Sandbox weitergegeben werden;
(f) die Verarbeitung personenbezogener Daten im Rahmen des Sandkastens weder zu Maßnahmen oder Entscheidungen führt, die die betroffenen Personen betreffen, noch die Anwendung ihrer im Unionsrecht zum Schutz personenbezogener Daten verankerten Rechte berührt;
(g) alle im Rahmen der Sandbox verarbeiteten personenbezogenen Daten werden durch geeignete technische und organisatorische Maßnahmen geschützt und gelöscht, sobald die Teilnahme an der Sandbox beendet ist oder die Aufbewahrungsfrist für die personenbezogenen Daten abgelaufen ist;
(h) die Protokolle der Verarbeitung personenbezogener Daten im Rahmen der Sandbox werden für die Dauer der Teilnahme an der Sandbox aufbewahrt, sofern das Unionsrecht oder das nationale Recht nichts anderes vorsieht;
(i) eine vollständige und detaillierte Beschreibung des Verfahrens und der Gründe für die Schulung, Prüfung und Validierung des KI-Systems zusammen mit den Prüfergebnissen als Teil der technischen Unterlagen gemäß
Anhang IV
aufbewahrt wird;
(j) eine kurze Zusammenfassung des im Sandkasten entwickelten KI-Projekts, seiner Ziele und der erwarteten Ergebnisse wird auf der Website der zuständigen Behörden veröffentlicht; diese Verpflichtung gilt nicht für sensible operative Daten im Zusammenhang mit den Tätigkeiten von Strafverfolgungs-, Grenzkontroll-, Einwanderungs- oder Asylbehörden.
2. Zum Zwecke der Verhütung, Aufdeckung, Untersuchung oder Verfolgung von Straftaten oder der Vollstreckung strafrechtlicher Sanktionen, einschließlich des Schutzes vor und der Abwehr von Gefahren für die öffentliche Sicherheit, unter der Kontrolle und Verantwortung von Strafverfolgungsbehörden erfolgt die Verarbeitung personenbezogener Daten in AI-Sandkästen auf der Grundlage eines spezifischen Unionsrechts oder nationalen Rechts und unter denselben kumulativen Bedingungen wie in Absatz 1.
3. Absatz 1 gilt unbeschadet des Unionsrechts oder des nationalen Rechts, das die Verarbeitung personenbezogener Daten zu anderen als den in diesem Recht ausdrücklich genannten Zwecken ausschließt, sowie unbeschadet des Unionsrechts oder des nationalen Rechts, in dem die Grundlage für die Verarbeitung personenbezogener Daten festgelegt ist, die für die Entwicklung, Erprobung oder Schulung innovativer KI-Systeme erforderlich ist, oder einer anderen Rechtsgrundlage im Einklang mit dem Unionsrecht zum Schutz personenbezogener Daten.
Quelle öffnen
Art. 60

Erprobung von KI-Systemen mit hohem Risiko unter realen Bedingungen außerhalb der Sandkästen der KI-Regulierungsbehörden

Regelt Realwelt-Tests von Hochrisiko-KI außerhalb von Sandboxes. Erforderlich sind Testplan, Meldung bzw. Genehmigung, Registrierung, begrenzte Dauer, Monitoring, Schutz betroffener Personen, Rücknahme-/Abbruchregeln und Einhaltung anderer Rechtsvorgaben; verbotene Praktiken bleiben verboten.

Originaltext anzeigen
1. Die Erprobung von KI-Systemen mit hohem Risiko unter realen Bedingungen außerhalb der Sandkästen der KI-Regulierung kann von den in
Anhang III
aufgeführten Anbietern oder potenziellen Anbietern von KI-Systemen mit hohem Risiko im Einklang mit diesem Artikel und dem in diesem Artikel genannten Plan für die Erprobung unter realen Bedingungen durchgeführt werden, unbeschadet der Verbote gemäß
Artikel 5
. Die Kommission legt im Wege von Durchführungsrechtsakten die Einzelheiten des Plans für Praxistests fest. Diese Durchführungsrechtsakte werden nach dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen. Dieser Absatz berührt nicht die Rechtsvorschriften der Union oder der Mitgliedstaaten über die Prüfung von KI-Systemen mit hohem Risiko unter realen Bedingungen im Zusammenhang mit Produkten, die unter die in
Anhang
I aufgeführten Harmonisierungsrechtsvorschriften der Union fallen.
2. Anbieter oder potenzielle Anbieter können die in
Anhang III
genannten KI-Systeme mit hohem Risiko jederzeit vor dem Inverkehrbringen oder der Inbetriebnahme des KI-Systems allein oder in Partnerschaft mit einem oder mehreren Anbietern oder potenziellen Anbietern unter realen Bedingungen testen.
3. Die Erprobung von KI-Systemen mit hohem Risiko unter realen Bedingungen gemäß diesem Artikel erfolgt unbeschadet einer nach Unionsrecht oder nationalem Recht vorgeschriebenen ethischen Prüfung.
4. Anbieter oder angehende Anbieter dürfen die Tests nur dann unter realen Bedingungen durchführen, wenn alle der folgenden Bedingungen erfüllt sind:
(a) der Anbieter oder potenzielle Anbieter hat einen Plan für die Durchführung von Prüfungen unter realen Bedingungen erstellt und ihn der Marktüberwachungsbehörde des Mitgliedstaats vorgelegt, in dem die Prüfungen unter realen Bedingungen durchgeführt werden sollen;
(b) die Marktüberwachungsbehörde des Mitgliedstaats, in dem die Versuche unter realen Bedingungen durchgeführt werden sollen, hat die Versuche unter realen Bedingungen und den Plan für die Versuche unter realen Bedingungen genehmigt; hat die Marktüberwachungsbehörde nicht innerhalb von 30 Tagen geantwortet, so gelten die Versuche unter realen Bedingungen und der Plan für die Versuche unter realen Bedingungen als genehmigt; sieht das nationale Recht keine stillschweigende Genehmigung vor, so unterliegen die Versuche unter realen Bedingungen weiterhin einer Genehmigung;
(c) der Anbieter oder potenzielle Anbieter, mit Ausnahme von Anbietern oder potenziellen Anbietern von KI-Systemen mit hohem Risiko gemäß
Anhang III
Nummern 1, 6 und 7 in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement sowie von KI-Systemen mit hohem Risiko gemäß
Anhang III
Nummer 2, hat die Tests unter realen Bedingungen gemäß
Artikel 71
Absatz 4 mit einer unionsweit einmaligen Identifikationsnummer und mit den in
Anhang IX
genannten Informationen registriert; der Anbieter oder künftige Anbieter von KI-Systemen mit hohem Risiko gemäß
Anhang III
Nummern 1, 6 und 7 in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement hat die Tests unter realen Bedingungen im gesicherten nichtöffentlichen Teil der EU-Datenbank gemäß
Artikel 49
Absatz 4 Buchstabe d mit einer unionsweit einmaligen Identifikationsnummer und den darin genannten Informationen registriert; der Anbieter oder künftige Anbieter von KI-Systemen mit hohem Risiko gemäß
Anhang III
Nummer 2 hat die Tests unter realen Bedingungen gemäß
Artikel 49
Absatz 5 registriert;
(d) der Anbieter oder potenzielle Anbieter, der die Prüfungen unter realen Bedingungen durchführt, ist in der Union niedergelassen oder hat einen in der Union niedergelassenen Rechtsvertreter benannt;
(e) Daten, die zum Zweck der Erprobung unter realen Bedingungen erhoben und verarbeitet werden, werden nur dann an Drittländer übermittelt, wenn angemessene und anwendbare Garantien nach dem Unionsrecht vorgesehen sind;
(f) die Prüfung unter realen Bedingungen dauert nicht länger als zur Erreichung der Ziele erforderlich, in jedem Fall aber nicht länger als sechs Monate; sie kann um einen weiteren Zeitraum von sechs Monaten verlängert werden, sofern der Dienstleistungserbringer oder der potenzielle Dienstleistungserbringer dies der Marktüberwachungsbehörde zuvor mitteilt und die Notwendigkeit einer solchen Verlängerung erläutert;
(g) die Versuchspersonen unter realen Bedingungen, die aufgrund ihres Alters oder einer Behinderung zu einer schutzbedürftigen Gruppe gehören, angemessen geschützt werden;
(h) wenn ein Anbieter oder potenzieller Anbieter die Prüfung unter realen Bedingungen in Zusammenarbeit mit einem oder mehreren Einsatzkräften oder potenziellen Einsatzkräften organisiert, wurden letztere über alle Aspekte der Prüfung, die für ihre Entscheidung zur Teilnahme relevant sind, informiert und erhielten die entsprechenden Anweisungen für die Nutzung des KI-Systems gemäß
Artikel 13
; der Anbieter oder potenzielle Anbieter und die Einsatzkraft oder potenzielle Einsatzkraft schließen eine Vereinbarung, in der ihre Aufgaben und Zuständigkeiten festgelegt werden, um die Einhaltung der Bestimmungen für die Prüfung unter realen Bedingungen im Rahmen dieser Verordnung und anderer geltender Rechtsvorschriften der Union und der Mitgliedstaaten sicherzustellen;
(i) Die Probanden der Tests unter realen Bedingungen haben ihre Einwilligung nach Aufklärung gemäß
Artikel 61
gegeben, oder im Falle der Strafverfolgung, wenn die Einholung der Einwilligung nach Aufklärung die Erprobung des KI-Systems verhindern würde, dürfen die Tests selbst und die Ergebnisse der Tests unter realen Bedingungen keine negativen Auswirkungen auf die Probanden haben, und ihre personenbezogenen Daten werden nach Durchführung des Tests gelöscht;
(j) die Prüfung unter realen Bedingungen wird vom Anbieter oder potenziellen Anbieter sowie von den Einsatzkräften oder potenziellen Einsatzkräften durch Personen, die auf dem betreffenden Gebiet angemessen qualifiziert sind und über die für die Erfüllung ihrer Aufgaben erforderlichen Fähigkeiten, Ausbildungen und Befugnisse verfügen, wirksam beaufsichtigt;
(k) die Vorhersagen, Empfehlungen oder Entscheidungen des KI-Systems können tatsächlich rückgängig gemacht und ignoriert werden.
5. Jeder Proband, der an den Tests unter realen Bedingungen teilnimmt, oder gegebenenfalls sein gesetzlich benannter Vertreter kann sich jederzeit von den Tests zurückziehen, indem er seine Einwilligung nach Aufklärung widerruft, ohne dass ihm daraus Nachteile entstehen, und kann die sofortige und dauerhafte Löschung seiner personenbezogenen Daten verlangen. Der Widerruf der in Kenntnis der Sachlage erteilten Einwilligung hat keine Auswirkungen auf die bereits durchgeführten Tätigkeiten.
6. Gemäß
Artikel 75
übertragen die Mitgliedstaaten ihren Marktüberwachungsbehörden die Befugnis, von Anbietern und potenziellen Anbietern Informationen zu verlangen, unangekündigte Inspektionen aus der Ferne oder vor Ort durchzuführen und die Durchführung von Versuchen unter realen Bedingungen und die damit verbundenen Hochrisiko-KI-Systeme zu kontrollieren. Die Marktaufsichtsbehörden machen von diesen Befugnissen Gebrauch, um die sichere Entwicklung von Tests unter realen Bedingungen zu gewährleisten.
7. Jeder schwerwiegende Vorfall, der im Verlauf der Prüfungen unter realen Bedingungen festgestellt wird, ist der nationalen Marktüberwachungsbehörde gemäß
Artikel 73
zu melden. Der Anbieter oder potenzielle Anbieter ergreift sofortige Abhilfemaßnahmen oder setzt andernfalls die Erprobung unter realen Bedingungen aus, bis eine solche Abhilfemaßnahme erfolgt ist, oder beendet sie anderweitig. Der Anbieter oder potenzielle Anbieter legt ein Verfahren für den unverzüglichen Rückruf des KI-Systems nach einer solchen Beendigung der Tests unter realen Bedingungen fest.
8. Die Anbieter oder potenziellen Anbieter unterrichten die nationale Marktüberwachungsbehörde des Mitgliedstaats, in dem die Versuche unter realen Bedingungen durchgeführt werden sollen, über die Aussetzung oder Beendigung der Versuche unter realen Bedingungen und über die endgültigen Ergebnisse.
9. Der Anbieter oder der potenzielle Anbieter haftet nach dem anwendbaren Haftungsrecht der Union und der Mitgliedstaaten für alle Schäden, die bei der Durchführung der Tests unter realen Bedingungen entstehen.
Quelle öffnen
Art. 61

Einwilligung nach Inkenntnissetzung in die Teilnahme an Tests unter realen Bedingungen außerhalb von Sandkästen der KI-Regulierung

Regelt informierte Einwilligung für Teilnahme an Realwelt-Tests. Personen müssen freiwillig, vorab, klar und verständlich über Zweck, Dauer, Verfahren, Risiken, Rechte, Widerruf und Kontaktstellen informiert werden; besonders schutzbedürftige Gruppen brauchen zusätzliche Schutzmaßnahmen.

Originaltext anzeigen
1. Für die Durchführung von Versuchen unter realen Bedingungen gemäß
Artikel 60
ist die freiwillige Zustimmung der Versuchspersonen nach Aufklärung einzuholen, bevor sie an den Versuchen teilnehmen und nachdem sie ordnungsgemäß mit knappen, klaren, sachdienlichen und verständlichen Informationen über folgende Punkte informiert wurden:
(a) die Art und die Ziele der Prüfung unter realen Bedingungen und die möglichen Unannehmlichkeiten, die mit ihrer Teilnahme verbunden sein können;
b) die Bedingungen, unter denen die Versuche unter realen Bedingungen durchgeführt werden sollen, einschließlich der voraussichtlichen Dauer der Teilnahme der Versuchsperson(en);
(c) ihre Rechte und die Garantien für ihre Teilnahme, insbesondere ihr Recht, die Teilnahme an Tests unter realen Bedingungen zu verweigern und sich jederzeit von ihnen zurückzuziehen, ohne dass ihnen dadurch Nachteile entstehen und ohne dass sie sich rechtfertigen müssen;
(d) die Modalitäten für die Beantragung der Aufhebung oder Nichtberücksichtigung der Vorhersagen, Empfehlungen oder Entscheidungen des AI-Systems;
(e) die unionsweit einheitliche Identifikationsnummer für die Prüfung unter realen Bedingungen gemäß
Artikel 60
Absatz 4 Buchstabe c sowie die Kontaktdaten des Anbieters oder seines gesetzlichen Vertreters, bei dem weitere Informationen erhältlich sind.
2. Die Zustimmung nach Inkenntnissetzung ist zu datieren und zu dokumentieren, und eine Kopie ist den Versuchspersonen oder ihrem gesetzlichen Vertreter auszuhändigen.
Quelle öffnen
Art. 62

Maßnahmen für Anbieter und Verleiher, insbesondere für KMU, einschließlich Start-Ups

Verpflichtet Mitgliedstaaten zu KMU- und Start-up-Unterstützung: priorisierter Sandbox-Zugang, Sensibilisierung, Kommunikationskanäle, reduzierte Gebühren und praktische Orientierung. Ziel ist, Compliance-Hürden zu senken, ohne Sicherheits- und Grundrechtsschutz aufzugeben.

Originaltext anzeigen
1. Die Mitgliedstaaten ergreifen die folgenden Maßnahmen:
(a) Sie gewähren KMU, einschließlich Start-ups, die einen eingetragenen Sitz oder eine Niederlassung in der Union haben, vorrangigen Zugang zu den KI-Sandkästen, sofern sie die Zulassungsbedingungen und Auswahlkriterien erfüllen; der vorrangige Zugang schließt andere als die in diesem Absatz genannten KMU, einschließlich Start-ups, nicht vom Zugang zum KI-Sandkasten aus, sofern sie ebenfalls die Zulassungsbedingungen und Auswahlkriterien erfüllen;
(b) spezifische Sensibilisierungs- und Schulungsmaßnahmen zur Anwendung dieser Verordnung zu organisieren, die auf die Bedürfnisse von KMU, einschließlich Neugründungen, Verteilern und gegebenenfalls lokalen Behörden, zugeschnitten sind;
(c) sie nutzt die bestehenden speziellen Kanäle und richtet gegebenenfalls neue Kanäle für die Kommunikation mit KMU, einschließlich Start-ups, Anwendern, anderen Innovatoren und gegebenenfalls lokalen Behörden, ein, um Ratschläge zu erteilen und Fragen zur Durchführung dieser Verordnung zu beantworten, auch in Bezug auf die Teilnahme an KI-Sandboxen;
(d) Erleichterung der Beteiligung von KMU und anderen relevanten Interessengruppen am Prozess der Normungsentwicklung.
2. Bei der Festsetzung der Gebühren für die Konformitätsbewertung gemäß
Artikel 43
werden die spezifischen Interessen und Bedürfnisse der KMU-Anbieter, einschließlich neu gegründeter Unternehmen, berücksichtigt, wobei diese Gebühren proportional zu ihrer Größe, ihrer Marktgröße und anderen relevanten Indikatoren reduziert werden.
3. Das AI-Büro führt folgende Maßnahmen durch:
(a) standardisierte Vorlagen für die unter diese Verordnung fallenden Bereiche bereitstellen, wie vom Ausschuss in seinem Antrag angegeben;
(b) Entwicklung und Pflege einer einzigen Informationsplattform, die allen Wirtschaftsbeteiligten in der Union leicht zugängliche Informationen zu dieser Verordnung bietet;
(c) Organisation geeigneter Kommunikationskampagnen zur Sensibilisierung für die Verpflichtungen, die sich aus dieser Verordnung ergeben;
(d) Bewertung und Förderung der Konvergenz bewährter Verfahren bei der öffentlichen Auftragsvergabe im Zusammenhang mit KI-Systemen.
Quelle öffnen
Art. 63

Ausnahmeregelungen für bestimmte Marktteilnehmer

Erlaubt Kleinstunternehmen vereinfachte Elemente des Qualitätsmanagementsystems für Hochrisiko-KI, sofern keine Partner- oder verbundenen Unternehmen entgegenstehen. Die materiellen Anforderungen bleiben aber bestehen: Vereinfachung bedeutet weniger Formalismus, nicht weniger Sicherheit oder Grundrechtsschutz.

Originaltext anzeigen
1. Kleinstunternehmen im Sinne der Empfehlung 2003/361/EG können bestimmte Elemente des in
Artikel 17
dieser Verordnung geforderten Qualitätsmanagementsystems auf vereinfachte Weise erfüllen, sofern sie keine Partnerunternehmen oder verbundenen Unternehmen im Sinne der genannten Empfehlung haben. Zu diesem Zweck erarbeitet die Kommission Leitlinien zu den Bestandteilen des Qualitätsmanagementsystems, die unter Berücksichtigung der Bedürfnisse von Kleinstunternehmen in vereinfachter Form erfüllt werden können, ohne dass das Schutzniveau oder die Notwendigkeit der Einhaltung der Anforderungen an AI-Systeme mit hohem Risiko beeinträchtigt werden.
2. Absatz 1 des vorliegenden Artikels ist nicht so auszulegen, dass diese Marktteilnehmer von der Erfüllung anderer in dieser Verordnung festgelegter Anforderungen oder Verpflichtungen, einschließlich derjenigen der
Artikel 9
,
10
,
11
,
12
,
13
,
14
,
15
,
72
und
73
, befreit sind.
Quelle öffnen
Kapitel VII

Governance

Artikel 64-70 · 7 Abschnitt(e)

Art. 64

AI-Büro

Richtet das AI Office innerhalb der Kommission als zentrale EU-Stelle für AI-Act-Umsetzung ein, besonders für GPAI-Modelle. Es koordiniert Expertise, Leitlinien, Durchsetzung, internationale Zusammenarbeit und die einheitliche Anwendung des Gesetzes.

Originaltext anzeigen
1. Die Kommission entwickelt das Fachwissen und die Fähigkeiten der Union im Bereich der künstlichen Intelligenz durch das Amt für künstliche Intelligenz.
2. Die Mitgliedstaaten erleichtern die dem AI-Büro übertragenen Aufgaben, wie sie in dieser Verordnung festgelegt sind.
Quelle öffnen
Art. 65

Einrichtung und Struktur des Europäischen Rats für künstliche Intelligenz

Errichtet den Europäischen Ausschuss für künstliche Intelligenz als Koordinierungsforum der Mitgliedstaaten. Jeder Mitgliedstaat ist vertreten; der Ausschuss unterstützt konsistente Anwendung, Behördenzusammenarbeit und Beratung der Kommission.

Originaltext anzeigen
1. Es wird ein Europäischer Ausschuss für künstliche Intelligenz (der "Ausschuss") eingerichtet.
2. Der Ausschuss setzt sich aus einem Vertreter pro Mitgliedstaat zusammen. Der Europäische Datenschutzbeauftragte nimmt als Beobachter teil. Das Amt für künstliche Intelligenz nimmt ebenfalls an den Sitzungen des Beirats teil, ohne an den Abstimmungen teilzunehmen. Der Ausschuss kann von Fall zu Fall andere Behörden, Einrichtungen oder Sachverständige der Mitgliedstaaten und der Union zu den Sitzungen einladen, wenn die erörterten Fragen für sie von Bedeutung sind.
3. Jeder Vertreter wird von seinem Mitgliedstaat für einen Zeitraum von drei Jahren benannt, der einmal verlängert werden kann.
4. Die Mitgliedstaaten stellen sicher, dass ihre Vertreter im Verwaltungsrat:
(a) in ihrem Mitgliedstaat über die entsprechenden Zuständigkeiten und Befugnisse verfügen, um aktiv zur Erfüllung der in
Artikel 66
genannten Aufgaben des Ausschusses beizutragen;
(b) als zentrale Kontaktstelle für den Verwaltungsrat und gegebenenfalls - unter Berücksichtigung der Bedürfnisse der Mitgliedstaaten - als zentrale Kontaktstelle für die Interessengruppen benannt werden;
(c) sind befugt, die Kohärenz und Koordinierung zwischen den zuständigen nationalen Behörden in ihrem Mitgliedstaat in Bezug auf die Durchführung dieser Verordnung zu erleichtern, unter anderem durch die Erhebung relevanter Daten und Informationen zur Erfüllung ihrer Aufgaben im Ausschuss.
5. Die benannten Vertreter der Mitgliedstaaten nehmen die Geschäftsordnung des Ausschusses mit Zweidrittelmehrheit an. In der Geschäftsordnung werden insbesondere die Modalitäten des Auswahlverfahrens, die Dauer des Mandats und die Aufgaben des Vorsitzenden, die Modalitäten der Abstimmungen sowie die Organisation der Tätigkeiten des Ausschusses und seiner Untergruppen festgelegt.
6. Der Ausschuss setzt zwei ständige Untergruppen ein, um eine Plattform für die Zusammenarbeit und den Austausch zwischen den Marktüberwachungsbehörden und den notifizierenden Behörden über Fragen im Zusammenhang mit der Marktüberwachung bzw. den notifizierten Stellen zu schaffen. Die ständige Untergruppe für Marktüberwachung sollte als Gruppe für Verwaltungszusammenarbeit (ADCO) für diese Verordnung im Sinne von Artikel 30 der Verordnung (EU) 2019/1020 fungieren. Der Verwaltungsrat kann gegebenenfalls weitere ständige oder zeitweilige Untergruppen zur Prüfung spezifischer Fragen einrichten. Gegebenenfalls können Vertreter des in
Artikel 67
genannten Beratungsgremiums zu diesen Untergruppen oder zu bestimmten Sitzungen dieser Untergruppen als Beobachter eingeladen werden.
7. Der Ausschuss ist so zu organisieren und zu arbeiten, dass die Objektivität und Unparteilichkeit seiner Tätigkeit gewährleistet ist.
8. Den Vorsitz im Ausschuss führt einer der Vertreter der Mitgliedstaaten. Das AI-Büro nimmt die Sekretariatsgeschäfte des Beirats wahr, beruft die Sitzungen auf Ersuchen des Vorsitzenden ein und erstellt die Tagesordnung im Einklang mit den Aufgaben des Beirats gemäß dieser Verordnung und seiner Geschäftsordnung.
Quelle öffnen
Art. 66

Aufgaben des Verwaltungsrats

Beschreibt Aufgaben des Ausschusses: Beratung von Kommission und Mitgliedstaaten, Koordination nationaler Behörden, Austausch von Best Practices, Empfehlungen, Stellungnahmen, Leitlinienbeiträge und Unterstützung einer einheitlichen Durchsetzung.

Originaltext anzeigen
Der Ausschuss berät und unterstützt die Kommission und die Mitgliedstaaten, um die einheitliche und wirksame Anwendung dieser Verordnung zu erleichtern. Zu diesem Zweck kann der Ausschuss insbesondere:
(a) Sie tragen zur Koordinierung zwischen den für die Anwendung dieser Verordnung zuständigen nationalen Behörden bei und unterstützen in Zusammenarbeit mit den betreffenden Marktüberwachungsbehörden und vorbehaltlich deren Zustimmung die gemeinsamen Tätigkeiten der Marktüberwachungsbehörden gemäß
Artikel 74
Absatz 11;
(b) Sammlung und Austausch von technischem und regulatorischem Fachwissen und bewährten Verfahren zwischen den Mitgliedstaaten;
(c) Beratung bei der Durchführung dieser Verordnung, insbesondere bei der Durchsetzung der Vorschriften über KI-Modelle für allgemeine Zwecke;
(d) Beitrag zur Harmonisierung der Verwaltungspraktiken in den Mitgliedstaaten, auch in Bezug auf die Ausnahmen von den Konformitätsbewertungsverfahren gemäß
Artikel 46
, die Funktionsweise der KI-Sandkästen und die Tests unter realen Bedingungen gemäß den
Artikeln 57
,
59
und
60
;
(e) auf Ersuchen der Kommission oder von sich aus Empfehlungen und schriftliche Stellungnahmen zu allen relevanten Fragen im Zusammenhang mit der Durchführung dieser Verordnung und ihrer kohärenten und wirksamen Anwendung abzugeben, einschließlich:
(i) über die Ausarbeitung und Anwendung von Verhaltenskodizes und Verhaltensregeln im Rahmen dieser Verordnung sowie der Leitlinien der Kommission;
(ii) die Bewertung und Überprüfung dieser Verordnung gemäß
Artikel 112
, auch in Bezug auf die Berichte über schwerwiegende Vorkommnisse gemäß
Artikel 73
und das Funktionieren der EU-Datenbank gemäß
Artikel 71
, die Ausarbeitung delegierter Rechtsakte oder von Durchführungsrechtsakten sowie in Bezug auf mögliche Anpassungen dieser Verordnung an die in
Anhang I
aufgeführten Harmonisierungsrechtsvorschriften der Union;
(iii) über technische Spezifikationen oder bestehende Normen hinsichtlich der in
Kapitel III
Abschnitt 2 genannten Anforderungen;
(iv) über die Anwendung harmonisierter Normen oder gemeinsamer Spezifikationen gemäß den
Artikeln 40
und
41
;
(v) Trends wie die globale Wettbewerbsfähigkeit Europas im Bereich der KI, die Verbreitung von KI in der Union und die Entwicklung digitaler Kompetenzen;
(vi) Trends zur sich entwickelnden Typologie von KI-Wertschöpfungsketten, insbesondere zu den sich daraus ergebenden Auswirkungen auf die Rechenschaftspflicht;
(vii) über die mögliche Notwendigkeit einer Änderung des
Anhangs III
gemäß
Artikel 7
und über die mögliche Notwendigkeit einer Überarbeitung des
Artikels 5
gemäß
Artikel 112
unter Berücksichtigung der einschlägigen verfügbaren Erkenntnisse und der neuesten technologischen Entwicklungen;
(f) Unterstützung der Kommission bei der Förderung von KI-Kompetenzn, des öffentlichen Bewusstseins und des Verständnisses für die Vorteile, Risiken, Schutzmaßnahmen sowie Rechte und Pflichten im Zusammenhang mit der Nutzung von KI-Systemen;
(g) Erleichterung der Entwicklung gemeinsamer Kriterien und eines gemeinsamen Verständnisses der Marktteilnehmer und der zuständigen Behörden in Bezug auf die in dieser Verordnung vorgesehenen einschlägigen Konzepte, auch durch einen Beitrag zur Entwicklung von Benchmarks;
(h) Sie arbeitet gegebenenfalls mit anderen Organen, Einrichtungen, Ämtern und Agenturen der Union sowie mit den einschlägigen Sachverständigengruppen und Netzen der Union zusammen, insbesondere in den Bereichen Produktsicherheit, Cybersicherheit, Wettbewerb, digitale und Mediendienste, Finanzdienstleistungen, Verbraucherschutz, Daten- und Grundrechtsschutz;
(i) zu einer wirksamen Zusammenarbeit mit den zuständigen Behörden von Drittländern und mit internationalen Organisationen beitragen;
(j) Unterstützung der zuständigen nationalen Behörden und der Kommission bei der Entwicklung des für die Durchführung dieser Verordnung erforderlichen organisatorischen und technischen Fachwissens, unter anderem durch einen Beitrag zur Bewertung des Schulungsbedarfs des an der Durchführung dieser Verordnung beteiligten Personals der Mitgliedstaaten;
(k) das Amt für künstliche Intelligenz bei der Unterstützung der zuständigen nationalen Behörden bei der Einrichtung und Entwicklung von Sandkästen für künstliche Intelligenz zu unterstützen und die Zusammenarbeit und den Informationsaustausch zwischen den Sandkästen für künstliche Intelligenz zu erleichtern;
(l) Er leistet einen Beitrag zur Ausarbeitung von Leitfäden und berät sie in diesem Zusammenhang;
(m) Beratung der Kommission in internationalen Angelegenheiten im Zusammenhang mit AI;
(n) Abgabe von Stellungnahmen an die Kommission zu den qualifizierten Ausschreibungen von KI-Modellen für allgemeine Zwecke;
(o) Sie erhält Stellungnahmen der Mitgliedstaaten zu qualifizierten Ausschreibungen von KI-Modellen für allgemeine Zwecke sowie zu nationalen Erfahrungen und Praktiken bei der Überwachung und Durchsetzung von KI-Systemen, insbesondere von Systemen, die KI-Modelle für allgemeine Zwecke integrieren.
Quelle öffnen
Art. 67

Beratungsgremium

Richtet ein Beratungsgremium aus Industrie, Start-ups, KMU, Zivilgesellschaft und Wissenschaft ein. Es liefert fachliche Rückmeldungen an Ausschuss und Kommission, insbesondere zu Umsetzung, Standards, Codes of Practice und technologischer Entwicklung.

Originaltext anzeigen
1. Es wird ein Beratungsgremium eingerichtet, das den Ausschuss und die Kommission fachlich berät und zu ihren Aufgaben im Rahmen dieser Verordnung beiträgt.
2. Die Mitglieder des Beratungsgremiums repräsentieren eine ausgewogene Auswahl von Interessengruppen, einschließlich Industrie, Start-ups, KMU, Zivilgesellschaft und Wissenschaft. Die Mitglieder des Beratungsgremiums müssen hinsichtlich kommerzieller und nichtkommerzieller Interessen und - innerhalb der Kategorie der kommerziellen Interessen - hinsichtlich der KMU und anderer Unternehmen ausgewogen sein.
3. Die Kommission ernennt die Mitglieder des Beratungsgremiums nach den in Absatz 2 genannten Kriterien aus dem Kreis der Akteure mit anerkanntem Fachwissen auf dem Gebiet der künstlichen Intelligenz.
4. Die Amtszeit der Mitglieder des Beratungsgremiums beträgt zwei Jahre; sie kann um höchstens vier Jahre verlängert werden.
5. Die Agentur für Grundrechte, die ENISA, das Europäische Komitee für Normung (CEN), das Europäische Komitee für elektrotechnische Normung (CENELEC) und das Europäische Institut für Telekommunikationsnormen (ETSI) sind ständige Mitglieder des Beratungsgremiums.
6. Das Beratungsgremium gibt sich eine Geschäftsordnung. Er wählt aus den Reihen seiner Mitglieder zwei Ko-Vorsitzende nach den in Absatz 2 genannten Kriterien. Die Amtszeit der Ko-Vorsitzenden beträgt zwei Jahre und kann einmal verlängert werden.
7. Das Beratungsgremium tritt mindestens zweimal im Jahr zusammen. Das Beratungsgremium kann Sachverständige und andere Beteiligte zu seinen Sitzungen einladen.
8. Das Beratungsgremium kann auf Ersuchen des Verwaltungsrats oder der Kommission Stellungnahmen, Empfehlungen und schriftliche Beiträge ausarbeiten.
9. Das Beratungsgremium kann gegebenenfalls ständige oder zeitweilige Untergruppen einsetzen, um spezifische Fragen im Zusammenhang mit den Zielen dieser Verordnung zu prüfen.
10. Das Beratungsgremium erstellt einen Jahresbericht über seine Tätigkeit. Dieser Bericht wird der Öffentlichkeit zugänglich gemacht.
Quelle öffnen
Art. 68

Wissenschaftliches Gremium aus unabhängigen Sachverständigen

Schafft ein wissenschaftliches Gremium unabhängiger Expertinnen und Experten. Es unterstützt das AI Office bei GPAI, systemischen Risiken, Modellbewertungen, Warnungen und Marktbeobachtung; Mitglieder müssen unabhängig und fachlich qualifiziert sein.

Originaltext anzeigen
1. Die Kommission erlässt im Wege eines Durchführungsrechtsakts Bestimmungen über die Einsetzung eines wissenschaftlichen Gremiums unabhängiger Sachverständiger (das "wissenschaftliche Gremium"), das die Durchsetzungsmaßnahmen im Rahmen dieser Verordnung unterstützen soll. Dieser Durchführungsrechtsakt wird gemäß dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
2. Das wissenschaftliche Gremium besteht aus Sachverständigen, die von der Kommission auf der Grundlage aktueller wissenschaftlicher oder technischer Fachkenntnisse auf dem Gebiet der künstlichen Intelligenz ausgewählt werden, die für die in Absatz 3 genannten Aufgaben erforderlich sind, und die nachweisen können, dass sie alle folgenden Bedingungen erfüllen:
(a) besondere Sachkenntnis und Kompetenz sowie wissenschaftliches oder technisches Fachwissen auf dem Gebiet der künstlichen Intelligenz besitzen;
(b) Unabhängigkeit von Anbietern von KI-Systemen oder KI-Modellen für allgemeine Zwecke;
(c) Fähigkeit zur sorgfältigen, genauen und objektiven Ausführung der Tätigkeiten. Die Kommission legt in Absprache mit dem Verwaltungsrat die Anzahl der Experten in dem Gremium entsprechend dem erforderlichen Bedarf fest und sorgt für eine ausgewogene Vertretung der Geschlechter und der geografischen Herkunft.
3. Das wissenschaftliche Gremium berät und unterstützt das AI-Büro insbesondere bei den folgenden Aufgaben:
(a) Unterstützung der Durchführung und Durchsetzung dieser Verordnung in Bezug auf KI-Modelle und -Systeme für allgemeine Zwecke, insbesondere durch:
(i) Warnung des AI-Büros vor möglichen Systemrisiken auf Unionsebene bei AI-Modellen für allgemeine Zwecke gemäß
Artikel 90
;
(ii) Beitrag zur Entwicklung von Werkzeugen und Methoden zur Bewertung der Fähigkeiten von KI-Modellen und -Systemen für allgemeine Zwecke, auch durch Benchmarks;
(iii) Beratung bei der Einstufung von KI-Allzweckmodellen mit systemischem Risiko;
(iv) Beratung bei der Klassifizierung verschiedener allgemeiner KI-Modelle und -Systeme;
(v) Mitwirkung an der Entwicklung von Instrumenten und Vorlagen;
(b) Unterstützung der Arbeit der Marktüberwachungsbehörden auf deren Ersuchen;
(c) Unterstützung grenzüberschreitender Marktüberwachungstätigkeiten gemäß
Artikel 74
Absatz 11, unbeschadet der Befugnisse der Marktüberwachungsbehörden;
(d) Unterstützung des AI-Büros bei der Wahrnehmung seiner Aufgaben im Rahmen des Verfahrens bei Schutzmaßnahmen der Union gemäß
Artikel 81
.
4. Die Sachverständigen des Wissenschaftlichen Gremiums nehmen ihre Aufgaben unparteiisch und objektiv wahr und gewährleisten die Vertraulichkeit der bei der Wahrnehmung ihrer Aufgaben und Tätigkeiten erhaltenen Informationen und Daten. Sie dürfen bei der Wahrnehmung ihrer Aufgaben nach Absatz 3 von niemandem Weisungen einholen oder entgegennehmen. Jeder Experte gibt eine Interessenerklärung ab, die öffentlich zugänglich gemacht wird. Das AI-Büro führt Systeme und Verfahren ein, um potenzielle Interessenkonflikte aktiv zu bewältigen und zu vermeiden.
5. Der in Absatz 1 genannte Durchführungsrechtsakt enthält Bestimmungen über die Bedingungen, Verfahren und Modalitäten, nach denen das Wissenschaftliche Gremium und seine Mitglieder Ausschreibungen vornehmen und das AI-Büro um Unterstützung bei der Wahrnehmung der Aufgaben des Wissenschaftlichen Gremiums ersuchen können.
Quelle öffnen
Art. 69

Zugang der Mitgliedstaaten zum Sachverständigenpool

Erlaubt Mitgliedstaaten, den Expertinnen- und Expertenpool für nationale Durchsetzung zu nutzen. Das soll komplexe technische Bewertungen erleichtern, insbesondere bei systemischen Risiken oder besonders anspruchsvollen KI-Systemen.

Originaltext anzeigen
1. Die Mitgliedstaaten können zur Unterstützung ihrer Durchsetzungsmaßnahmen im Rahmen dieser Verordnung Sachverständige des wissenschaftlichen Gremiums hinzuziehen.
2. Die Mitgliedstaaten können verpflichtet werden, Gebühren für die Beratung und Unterstützung durch die Sachverständigen zu zahlen. Die Struktur und die Höhe der Gebühren sowie der Umfang und die Struktur der erstattungsfähigen Kosten werden in dem in
Artikel 68
Absatz 1 genannten Durchführungsrechtsakt festgelegt, wobei den Zielen einer angemessenen Durchführung dieser Verordnung, der Kostenwirksamkeit und der Notwendigkeit, allen Mitgliedstaaten einen effektiven Zugang zu den Sachverständigen zu gewährleisten, Rechnung getragen wird.
3. Die Kommission erleichtert den Mitgliedstaaten bei Bedarf den rechtzeitigen Zugang zu den Sachverständigen und stellt sicher, dass die Kombination von Unterstützungsmaßnahmen, die von der AI-Testunterstützung der Union gemäß
Artikel 84
und von Sachverständigen gemäß diesem Artikel durchgeführt werden, effizient organisiert ist und den bestmöglichen Mehrwert bietet.
Quelle öffnen
Art. 70

Benennung der zuständigen nationalen Behörden und des einheitlichen Ansprechpartners

Verlangt nationale zuständige Behörden, darunter mindestens eine notifizierende und eine Marktüberwachungsbehörde, sowie einen zentralen Ansprechpartner. Mitgliedstaaten müssen Unabhängigkeit, Ressourcen, Kompetenz und öffentliche Kontaktinformationen sicherstellen.

Originaltext anzeigen
1. Jeder Mitgliedstaat errichtet oder benennt für die Zwecke dieser Verordnung mindestens eine notifizierende Behörde und mindestens eine Marktüberwachungsbehörde als zuständige nationale Behörden. Diese zuständigen nationalen Behörden üben ihre Befugnisse unabhängig, unparteiisch und unvoreingenommen aus, um die Objektivität ihrer Tätigkeiten und Aufgaben zu gewährleisten und die Anwendung und Durchführung dieser Verordnung sicherzustellen. Die Mitglieder dieser Behörden haben sich jeder Handlung zu enthalten, die mit ihren Aufgaben unvereinbar ist. Unter der Voraussetzung, dass diese Grundsätze beachtet werden, können diese Tätigkeiten und Aufgaben von einer oder mehreren benannten Behörden entsprechend den organisatorischen Erfordernissen des Mitgliedstaats wahrgenommen werden.
2. Die Mitgliedstaaten teilen der Kommission die Identität der notifizierenden Behörden und der Marktüberwachungsbehörden sowie die Aufgaben dieser Behörden und alle diesbezüglichen Änderungen mit. Die Mitgliedstaaten veröffentlichen Informationen darüber, wie die zuständigen Behörden und die einheitlichen Ansprechpartner bis zum 2. August 2025 über elektronische Kommunikationsmittel kontaktiert werden können. Die Mitgliedstaaten benennen eine Marktüberwachungsbehörde, die als einheitlicher Ansprechpartner für diese Verordnung fungiert, und teilen der Kommission die Identität des einheitlichen Ansprechpartners mit. Die Kommission macht eine Liste der einheitlichen Ansprechstellen öffentlich zugänglich.
3. Die Mitgliedstaaten stellen sicher, dass ihre zuständigen nationalen Behörden mit angemessenen technischen, finanziellen und personellen Ressourcen sowie mit einer Infrastruktur ausgestattet sind, um ihre Aufgaben im Rahmen dieser Verordnung wirksam zu erfüllen. Insbesondere müssen die zuständigen nationalen Behörden ständig über eine ausreichende Zahl von Mitarbeitern verfügen, deren Kompetenzen und Fachkenntnisse ein umfassendes Verständnis der KI-Technologien, der Daten und der Datenverarbeitung, des Schutzes personenbezogener Daten, der Cybersicherheit, der Grundrechte, der Gesundheits- und Sicherheitsrisiken sowie der bestehenden Normen und rechtlichen Anforderungen umfassen müssen. Die Mitgliedstaaten bewerten und aktualisieren erforderlichenfalls jährlich die in diesem Absatz genannten Anforderungen an Kompetenzen und Ressourcen.
4. Die zuständigen nationalen Behörden ergreifen geeignete Maßnahmen, um ein angemessenes Niveau der Cybersicherheit zu gewährleisten.
5. Bei der Wahrnehmung ihrer Aufgaben handeln die zuständigen nationalen Behörden im Einklang mit den in
Artikel 78
festgelegten Geheimhaltungspflichten.
6. Bis zum 2. August 2025 und danach alle zwei Jahre berichten die Mitgliedstaaten der Kommission über den Stand der finanziellen und personellen Ausstattung der zuständigen nationalen Behörden und bewerten deren Angemessenheit. Die Kommission leitet diese Informationen an den Ausschuss weiter, damit dieser sie erörtern und gegebenenfalls Empfehlungen aussprechen kann.
7. Die Kommission erleichtert den Erfahrungsaustausch zwischen den zuständigen nationalen Behörden.
8. Die zuständigen nationalen Behörden können Leitlinien und Ratschläge für die Durchführung dieser Verordnung erteilen, insbesondere für KMU, einschließlich neu gegründeter Unternehmen, wobei sie gegebenenfalls die Leitlinien und Ratschläge des Ausschusses und der Kommission berücksichtigen. Beabsichtigen die zuständigen nationalen Behörden, Orientierungshilfen und Ratschläge in Bezug auf ein KI-System in Bereichen bereitzustellen, die unter anderes Unionsrecht fallen, so werden die nach diesem Unionsrecht zuständigen nationalen Behörden gegebenenfalls konsultiert.
9. Fallen Organe, Einrichtungen, Ämter oder Agenturen der Union in den Anwendungsbereich dieser Verordnung, so ist der Europäische Datenschutzbeauftragte die für ihre Aufsicht zuständige Behörde.
Quelle öffnen
Kapitel VIII

EU-Datenbank

Artikel 71 · 1 Abschnitt(e)

Art. 71

EU-Datenbank für in Anhang III aufgeführte Hochrisiko-KI-Systeme

Schafft die EU-Datenbank für bestimmte Hochrisiko-KI-Systeme. Sie enthält Registrierungsinformationen von Anbietern und ggf. Betreibern, macht wesentliche Angaben öffentlich sichtbar und unterstützt Transparenz, Aufsicht und Nachvollziehbarkeit.

Originaltext anzeigen
1. Die Kommission errichtet und unterhält in Zusammenarbeit mit den Mitgliedstaaten eine EU-Datenbank mit den in den Absätzen 2 und 3 des vorliegenden Artikels genannten Informationen über die in
Artikel 6
Absatz 2 genannten AI-Systeme mit hohem Risiko, die gemäß den
Artikeln 49
und
60
registriert sind, und über AI-Systeme, die nicht als Hochrisikosysteme gemäß
Artikel 6
Absatz 3 gelten und gemäß
Artikel 6
Absatz 4 und
Artikel 49
registriert sind. Bei der Festlegung der funktionalen Spezifikationen einer solchen Datenbank konsultiert die Kommission die einschlägigen Sachverständigen, und bei der Aktualisierung der funktionalen Spezifikationen einer solchen Datenbank konsultiert die Kommission den Ausschuss.
2. Die in
Anhang VIII
Abschnitte A und B aufgeführten Daten werden vom Dienstleistungserbringer oder gegebenenfalls vom bevollmächtigten Vertreter in die EU-Datenbank eingegeben.
3. Die in
Anhang VIII
Abschnitt C aufgeführten Daten werden von dem Betreiber, der eine Behörde, Agentur oder Einrichtung ist oder in deren Namen handelt, gemäß
Artikel 49
Absätze 3 und 4 in die EU-Datenbank eingegeben.
4. Mit Ausnahme des in
Artikel 49
Absatz 4 und
Artikel 60
Absatz 4 Buchstabe c genannten Abschnitts müssen die in der gemäß
Artikel 49
registrierten EU-Datenbank enthaltenen Informationen auf benutzerfreundliche Weise zugänglich und öffentlich verfügbar sein. Die Informationen sollten leicht navigierbar und maschinenlesbar sein. Die gemäß
Artikel 60
registrierten Informationen sind nur den Marktüberwachungsbehörden und der Kommission zugänglich, es sei denn, der potenzielle Anbieter oder Dienstleistungserbringer hat seine Zustimmung erteilt, die Informationen auch der Öffentlichkeit zugänglich zu machen.
5. Die EU-Datenbank enthält personenbezogene Daten nur insoweit, als dies für die Erhebung und Verarbeitung von Informationen im Einklang mit dieser Verordnung erforderlich ist. Diese Informationen umfassen die Namen und Kontaktdaten der natürlichen Personen, die für die Registrierung des Systems verantwortlich sind und die rechtliche Befugnis haben, den Anbieter bzw. den Betreiber zu vertreten.
6. Die Kommission ist die für die Verarbeitung Verantwortliche der EU-Datenbank. Sie stellt den Anbietern, potenziellen Anbietern und Betreibern angemessene technische und administrative Unterstützung zur Verfügung. Die EU-Datenbank muss den geltenden Anforderungen an die Zugänglichkeit entsprechen.
Quelle öffnen
Kapitel IX

Überwachung, Durchsetzung, Rechtsbehelfe

Artikel 72-94 · 23 Abschnitt(e)

Art. 72

Überwachung nach dem Inverkehrbringen durch die Anbieter und Plan zur Überwachung nach dem Inverkehrbringen für KI-Systeme mit hohem Risiko

Verlangt Post-Market-Monitoring für Hochrisiko-KI. Anbieter müssen ein systematisches Verfahren und einen Monitoring-Plan haben, reale Leistung und Risiken auswerten, Erfahrungen von Betreibern einbeziehen und Ergebnisse für Korrekturmaßnahmen und Dokumentationsupdates nutzen.

Originaltext anzeigen
1. Die Anbieter richten ein System zur Überwachung nach dem Inverkehrbringen ein und dokumentieren es in einer Weise, die der Art der KI-Technologien und den Risiken des Hochrisiko-KI-Systems angemessen ist.
2. Das System zur Überwachung nach dem Inverkehrbringen sammelt, dokumentiert und analysiert aktiv und systematisch einschlägige Daten, die von den Anwendern zur Verfügung gestellt oder aus anderen Quellen über die Leistung von KI-Systemen mit hohem Risiko während ihrer gesamten Lebensdauer gewonnen werden können und die es dem Anbieter ermöglichen, die kontinuierliche Einhaltung der in
Kapitel III
Abschnitt 2 festgelegten Anforderungen durch KI-Systeme zu bewerten. Gegebenenfalls umfasst die Überwachung nach dem Inverkehrbringen eine Analyse der Interaktion mit anderen KI-Systemen. Diese Verpflichtung erstreckt sich nicht auf sensible Betriebsdaten von Anwendern, die Strafverfolgungsbehörden sind.
3. Das System zur Überwachung nach dem Inverkehrbringen stützt sich auf einen Plan zur Überwachung nach dem Inverkehrbringen. Der Plan zur Überwachung nach dem Inverkehrbringen ist Teil der in
Anhang IV
genannten technischen Dokumentation. Die Kommission erlässt bis zum 2. Februar 2026 einen Durchführungsrechtsakt mit detaillierten Bestimmungen zur Erstellung eines Musters für den Plan zur Überwachung nach dem Inverkehrbringen und einer Liste der in den Plan aufzunehmenden Elemente. Dieser Durchführungsrechtsakt wird gemäß dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
4. Bei AI-Systemen mit hohem Risiko, die unter die in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen und für die bereits ein System und ein Plan für die Überwachung nach dem Inverkehrbringen im Rahmen dieser Rechtsvorschriften bestehen, können die Anbieter zur Gewährleistung der Kohärenz, zur Vermeidung von Doppelarbeit und zur Minimierung des zusätzlichen Aufwands gegebenenfalls die in den Absätzen 1, 2 und 3 beschriebenen erforderlichen Elemente unter Verwendung des in Absatz 3 genannten Musters in die im Rahmen dieser Rechtsvorschriften bereits bestehenden Systeme und Pläne integrieren, sofern dadurch ein gleichwertiges Schutzniveau erreicht wird. Unterabsatz 1 des vorliegenden Absatzes gilt auch für die in
Anhang III
Nummer 5 genannten AI-Systeme mit hohem Risiko, die von Finanzinstituten in Verkehr gebracht oder in Betrieb genommen werden, die nach dem Finanzdienstleistungsrecht der Union Anforderungen in Bezug auf ihre interne Governance, ihre Vorkehrungen oder Verfahren unterliegen.
Quelle öffnen
Art. 73

Meldung schwerwiegender Vorkommnisse

Regelt Incident-Meldungen für Hochrisiko-KI: schwerwiegende Vorkommnisse müssen an die Marktüberwachungsbehörde des betroffenen Mitgliedstaats gemeldet werden. Standardfrist ist spätestens 15 Tage nach Kenntnis; bei weit verbreitetem Verstoss oder schwerer Störung spätestens 2 Tage, bei Todesfall spätestens 10 Tage.

Originaltext anzeigen
1. Die Anbieter von auf dem Unionsmarkt in Verkehr gebrachten KI-Systemen mit hohem Risiko melden den Marktüberwachungsbehörden des Mitgliedstaats, in dem der Vorfall aufgetreten ist, jeden schwerwiegenden Vorfall.
2. Die Meldung gemäß Absatz 1 erfolgt unverzüglich, nachdem der Anbieter einen ursächlichen Zusammenhang zwischen dem KI-System und dem schwerwiegenden Vorkommnis oder die begründete Wahrscheinlichkeit eines solchen Zusammenhangs festgestellt hat, spätestens jedoch 15 Tage, nachdem der Anbieter oder gegebenenfalls der Betreiber von dem schwerwiegenden Vorkommnis Kenntnis erhalten hat. Die in Unterabsatz 1 genannte Meldefrist trägt der Schwere des schwerwiegenden Vorfalls Rechnung.
3. Ungeachtet des Absatzes 2 dieses Artikels ist im Falle eines weitverbreiteten Verstoßes oder einer schwerwiegenden Störung im Sinne von
Artikel 3
Nummer 49 Buchstabe b der in Absatz 1 des vorliegenden Artikels genannte Bericht unverzüglich, spätestens jedoch zwei Tage, nachdem der Dienstleistungserbringer oder gegebenenfalls der Betreiber von der Störung Kenntnis erlangt hat, zu übermitteln.
4. Ungeachtet des Absatzes 2 ist im Falle des Todes einer Person der Bericht unverzüglich zu übermitteln, nachdem der Dienstleistungserbringer oder der Einsatzbetrieb einen Kausalzusammenhang zwischen dem AI-System mit hohem Risiko und dem schwerwiegenden Vorfall festgestellt hat oder sobald er einen solchen vermutet, spätestens jedoch zehn Tage nach dem Zeitpunkt, zu dem der Dienstleistungserbringer oder gegebenenfalls der Einsatzbetrieb von dem schwerwiegenden Vorfall Kenntnis erlangt.
5. Um eine rechtzeitige Berichterstattung zu gewährleisten, kann der Dienstleistungserbringer oder gegebenenfalls der Entsender einen ersten, unvollständigen Bericht vorlegen, dem ein vollständiger Bericht folgt.
6. Nach der Meldung eines schwerwiegenden Vorkommnisses gemäß Absatz 1 führt der Dienstleistungserbringer unverzüglich die erforderlichen Untersuchungen in Bezug auf das schwerwiegende Vorkommnis und das betreffende AI-System durch. Dazu gehören eine Risikobewertung des Vorfalls und Abhilfemaßnahmen. Der Anbieter arbeitet bei den in Unterabsatz 1 genannten Untersuchungen mit den zuständigen Behörden und gegebenenfalls mit der betreffenden benannten Stelle zusammen und führt keine Untersuchung durch, die eine Veränderung des betreffenden KI-Systems in einer Weise beinhaltet, die eine spätere Bewertung der Ursachen des Vorkommnisses beeinträchtigen könnte, bevor er die zuständigen Behörden über eine solche Maßnahme informiert hat.
7. Nach Erhalt einer Meldung im Zusammenhang mit einem schwerwiegenden Vorkommnis im Sinne von
Artikel 3
Nummer 49 Buchstabe c unterrichtet die zuständige Marktüberwachungsbehörde die in
Artikel 77
Absatz 1 genannten nationalen Behörden oder Stellen. (2) Die Kommission erstellt spezielle Leitlinien, um die Einhaltung der in Absatz 1 des vorliegenden Artikels genannten Verpflichtungen zu erleichtern. Diese Leitlinien werden bis zum 2. August 2025 herausgegeben und regelmäßig bewertet.
8. Die Marktüberwachungsbehörde ergreift innerhalb von sieben Tagen nach Eingang der in Absatz 1 des vorliegenden Artikels genannten Meldung geeignete Maßnahmen gemäß Artikel 19 der Verordnung (EU) 2019/1020 und befolgt die in der genannten Verordnung vorgesehenen Meldeverfahren.
9. Bei den in
Anhang III
genannten AI-Systemen mit hohem Risiko, die von Anbietern in Verkehr gebracht oder in Betrieb genommen werden, für die Rechtsakte der Union gelten, in denen Meldepflichten festgelegt sind, die denen dieser Verordnung gleichwertig sind, beschränkt sich die Meldung schwerwiegender Vorkommnisse auf die in
Artikel 3
Nummer 49 Buchstabe c genannten Fälle.
10. Bei KI-Systemen mit hohem Risiko, bei denen es sich um Sicherheitsbauteile von Produkten oder um Produkte selbst handelt, die unter die Verordnungen (EU) 2017/745 und (EU) 2017/746 fallen, beschränkt sich die Meldung schwerwiegender Vorkommnisse auf die in
Artikel 3
Nummer 49 Buchstabe c der vorliegenden Verordnung genannten Vorkommnisse und erfolgt bei der von den Mitgliedstaaten, in denen das Vorkommnis aufgetreten ist, zu diesem Zweck gewählten zuständigen nationalen Behörde.
11. Die zuständigen nationalen Behörden melden der Kommission gemäß Artikel 20 der Verordnung (EU) 2019/1020 unverzüglich jeden schwerwiegenden Vorfall, unabhängig davon, ob sie daraufhin Maßnahmen ergriffen haben oder nicht.
Quelle öffnen
Art. 74

Marktüberwachung und Kontrolle von KI-Systemen auf dem Unionsmarkt

Regelt Marktüberwachung im EU-Markt. Nationale Behörden kontrollieren KI-Systeme, kooperieren mit anderen Aufsichtsstellen und dem AI Office; für bestimmte Finanz-, Datenschutz-, Strafverfolgungs- oder EU-Institutionen-Kontexte gelten besondere Zuständigkeiten.

Originaltext anzeigen
1. Die Verordnung (EU) 2019/1020 gilt für unter diese Verordnung fallende KI-Systeme. Für die Zwecke der wirksamen Durchsetzung dieser Verordnung:
(a) Jede Bezugnahme auf einen Wirtschaftsbeteiligten gemäß der Verordnung (EU) 2019/1020 ist so zu verstehen, dass sie alle in
Artikel 2
Absatz 1 der vorliegenden Verordnung genannten Wirtschaftsbeteiligten umfasst;
(b) Jede Bezugnahme auf ein Erzeugnis im Sinne der Verordnung (EU) 2019/1020 ist so zu verstehen, dass sie alle KI-Systeme einschließt, die in den Anwendungsbereich der vorliegenden Verordnung fallen.
2. Im Rahmen ihrer Berichterstattungspflicht gemäß Artikel 34 Absatz 4 der Verordnung (EU) 2019/1020 erstatten die Marktüberwachungsbehörden der Kommission und den zuständigen nationalen Wettbewerbsbehörden jährlich Bericht über alle Informationen, die sie im Laufe der Marktüberwachungstätigkeiten festgestellt haben und die für die Anwendung des Unionsrechts im Bereich der Wettbewerbsregeln von Interesse sein könnten. Sie erstatten der Kommission auch jährlich Bericht über die Anwendung verbotener Praktiken, die in dem betreffenden Jahr aufgetreten sind, und über die ergriffenen Maßnahmen.
3. Für AI-Systeme mit hohem Risiko, die sich auf Produkte beziehen, die unter die in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, ist die Marktüberwachungsbehörde für die Zwecke dieser Verordnung die Behörde, die für Marktüberwachungstätigkeiten gemäß diesen Rechtsakten zuständig ist. Abweichend von Unterabsatz 1 und unter geeigneten Umständen können die Mitgliedstaaten eine andere einschlägige Behörde benennen, die als Marktüberwachungsbehörde fungiert, sofern sie die Koordinierung mit den einschlägigen sektoralen Marktüberwachungsbehörden sicherstellen, die für die Durchsetzung der in
Anhang I
aufgeführten Harmonisierungsrechtsvorschriften der Union zuständig sind.
4. Die Verfahren gemäß den
Artikeln 79
bis
83
der vorliegenden Verordnung gelten nicht für AI-Systeme, die sich auf Erzeugnisse beziehen, die unter die in
Anhang I
Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, wenn diese Rechtsakte bereits Verfahren vorsehen, die ein gleichwertiges Schutzniveau gewährleisten und dasselbe Ziel verfolgen. In solchen Fällen gelten stattdessen die einschlägigen sektoralen Verfahren.
5. Unbeschadet der Befugnisse der Marktüberwachungsbehörden gemäß Artikel 14 der Verordnung (EU) 2019/1020 können die Marktüberwachungsbehörden zur Gewährleistung der wirksamen Durchsetzung dieser Verordnung die in Artikel 14 Absatz 4 Buchstaben d und j der genannten Verordnung genannten Befugnisse gegebenenfalls aus der Ferne ausüben.
6. Bei KI-Systemen mit hohem Risiko, die von Finanzinstituten in Verkehr gebracht, in Betrieb genommen oder genutzt werden, die dem Finanzdienstleistungsrecht der Union unterliegen, ist die Marktüberwachungsbehörde für die Zwecke dieser Verordnung die jeweilige nationale Behörde, die für die Finanzaufsicht über diese Institute im Rahmen dieser Rechtsvorschriften zuständig ist, sofern das Inverkehrbringen, die Inbetriebnahme oder die Nutzung des KI-Systems in direktem Zusammenhang mit der Erbringung dieser Finanzdienstleistungen steht.
7. Abweichend von Absatz 6 kann der Mitgliedstaat unter geeigneten Umständen und unter der Voraussetzung, dass die Koordinierung gewährleistet ist, eine andere relevante Behörde als Marktüberwachungsbehörde für die Zwecke dieser Verordnung bestimmen. Die nationalen Marktüberwachungsbehörden, die die gemäß der Richtlinie 2013/36/EU beaufsichtigten Kreditinstitute beaufsichtigen und an dem mit der Verordnung (EU) Nr. 1024/2013 eingerichteten einheitlichen Aufsichtsmechanismus teilnehmen, sollten der Europäischen Zentralbank unverzüglich alle im Rahmen ihrer Marktüberwachungstätigkeiten ermittelten Informationen melden, die für die in der genannten Verordnung festgelegten Aufsichtsaufgaben der Europäischen Zentralbank von potenziellem Interesse sein können.
8. Für die in
Anhang III
Nummer 1 dieser Verordnung aufgeführten AI-Systeme mit hohem Risiko, soweit die Systeme für Zwecke der Strafverfolgung, des Grenzschutzes sowie der Justiz und der Demokratie eingesetzt werden, und für die in
Anhang III
Nummern 6, 7 und 8 dieser Verordnung aufgeführten AI-Systeme mit hohem Risiko benennen die Mitgliedstaaten als Marktüberwachungsbehörden für die Zwecke dieser Verordnung entweder die zuständigen Datenschutzaufsichtsbehörden gemäß der Verordnung (EU) 2016/679 oder der Richtlinie (EU) 2016/680 oder eine andere Behörde, die unter denselben Bedingungen gemäß den Artikeln 41 bis 44 der Richtlinie (EU) 2016/680 benannt wurde. Die Marktüberwachungstätigkeiten dürfen in keiner Weise die Unabhängigkeit der Justizbehörden beeinträchtigen oder anderweitig in ihre Tätigkeiten eingreifen, wenn sie in ihrer gerichtlichen Eigenschaft handeln.
9. Fallen Organe, Einrichtungen, Ämter oder Agenturen der Union in den Anwendungsbereich dieser Verordnung, so handelt der Europäische Datenschutzbeauftragte als deren Marktaufsichtsbehörde, außer in Bezug auf den Gerichtshof der Europäischen Union, der in seiner gerichtlichen Eigenschaft handelt.
10. Die Mitgliedstaaten erleichtern die Koordinierung zwischen den gemäß dieser Verordnung benannten Marktüberwachungsbehörden und anderen einschlägigen nationalen Behörden oder Stellen, die die Anwendung der in
Anhang I
aufgeführten Harmonisierungsrechtsvorschriften der Union oder anderer Rechtsvorschriften der Union überwachen, die für die in
Anhang III
genannten AI-Systeme mit hohem Risiko relevant sein könnten.
11. Die Marktüberwachungsbehörden und die Kommission können gemeinsame Maßnahmen, einschließlich gemeinsamer Untersuchungen, vorschlagen, die entweder von den Marktüberwachungsbehörden oder von den Marktüberwachungsbehörden gemeinsam mit der Kommission durchgeführt werden und die darauf abzielen, die Einhaltung der Vorschriften zu fördern, Nichteinhaltung festzustellen, das Bewusstsein zu schärfen oder Orientierungshilfen in Bezug auf diese Verordnung in Bezug auf bestimmte Kategorien von AI-Systemen mit hohem Risiko zu geben, die gemäß Artikel 9 der Verordnung (EU) 2019/1020 in zwei oder mehr Mitgliedstaaten ein ernstes Risiko darstellen. Das Amt für künstliche Intelligenz unterstützt die Koordinierung von gemeinsamen Untersuchungen.
12. Unbeschadet der in der Verordnung (EU) 2019/1020 vorgesehenen Befugnisse erhalten die Marktüberwachungsbehörden von den Anbietern uneingeschränkten Zugang zu den Unterlagen sowie zu den Schulungs-, Validierungs- und Testdatensätzen, die für die Entwicklung von KI-Systemen mit hohem Risiko verwendet werden, gegebenenfalls und vorbehaltlich von Sicherheitsvorkehrungen auch über Anwendungsprogrammierschnittstellen (API) oder andere einschlägige technische Mittel und Werkzeuge, die einen Fernzugriff ermöglichen, sofern dies sachdienlich und auf das zur Erfüllung ihrer Aufgaben erforderliche Maß beschränkt ist.
13. Den Marktüberwachungsbehörden wird auf begründeten Antrag hin Zugang zum Quellcode des KI-Systems für Hochrisikoprodukte gewährt, sofern die beiden folgenden Bedingungen erfüllt sind:
(a) der Zugang zum Quellcode erforderlich ist, um die Konformität eines KI-Systems mit hohem Risiko mit den in
Kapitel III
Abschnitt 2 festgelegten Anforderungen zu bewerten, und,
(b) die Prüf- oder Auditverfahren und Überprüfungen auf der Grundlage der vom Dienstleistungserbringer vorgelegten Daten und Unterlagen erschöpft sind oder sich als unzureichend erweisen.
14. Alle Informationen oder Unterlagen, die die Marktüberwachungsbehörden erhalten, werden gemäß den in
Artikel 78
festgelegten Vertraulichkeitsverpflichtungen behandelt.
Quelle öffnen
Art. 75

Gegenseitige Unterstützung, Marktüberwachung und Kontrolle von KI-Systemen für allgemeine Zwecke

Ordnet die Aufsicht über KI-Systeme, die auf GPAI-Modellen desselben Anbieters beruhen: Das AI Office kann die Einhaltung relevanter Pflichten überwachen und arbeitet mit Marktüberwachungsbehörden zusammen. Informationen aus GPAI-Aufsicht können für Systemaufsicht genutzt werden.

Originaltext anzeigen
1. Basiert ein KI-System auf einem Allzweck-KI-Modell und werden das Modell und das System von ein und demselben Anbieter entwickelt, so ist das KI-Büro befugt, die Einhaltung der Verpflichtungen aus dieser Verordnung durch dieses KI-System zu überwachen und zu beaufsichtigen. Zur Wahrnehmung seiner Überwachungs- und Aufsichtsaufgaben verfügt das KI-Büro über alle in diesem Abschnitt und in der Verordnung (EU) 2019/1020 vorgesehenen Befugnisse einer Marktüberwachungsbehörde.
2. Haben die zuständigen Marktüberwachungsbehörden hinreichenden Grund zu der Annahme, dass KI-Systeme für allgemeine Zwecke, die von den Anwendern direkt für mindestens einen gemäß dieser Verordnung als hochriskant eingestuften Zweck verwendet werden können, die Anforderungen dieser Verordnung nicht erfüllen, arbeiten sie mit dem Amt für künstliche Intelligenz zusammen, um die Einhaltung der Anforderungen zu bewerten, und unterrichten den Ausschuss und andere Marktüberwachungsbehörden entsprechend.
3. Ist eine Marktüberwachungsbehörde nicht in der Lage, ihre Untersuchung des AI-Systems mit hohem Risiko abzuschließen, weil sie keinen Zugang zu bestimmten Informationen über das AI-Modell mit allgemeinem Verwendungszweck hat, obwohl sie alle angemessenen Anstrengungen unternommen hat, um diese Informationen zu erhalten, kann sie einen begründeten Antrag an das AI-Büro stellen, mit dem der Zugang zu diesen Informationen durchgesetzt wird. In diesem Fall übermittelt das AI-Büro der ersuchenden Behörde unverzüglich, in jedem Fall aber innerhalb von 30 Tagen, alle Informationen, die es für die Feststellung, ob ein AI-System mit hohem Risiko nicht konform ist, für relevant hält. Die Marktüberwachungsbehörden wahren die Vertraulichkeit der Informationen, die sie gemäß
Artikel 78
dieser Verordnung erhalten. Das in Kapitel VI der Verordnung (EU) 2019/1020 vorgesehene Verfahren gilt sinngemäß.
Quelle öffnen
Art. 76

Überwachung von Tests unter realen Bedingungen durch die Marktüberwachungsbehörden

Gibt Marktüberwachungsbehörden Befugnisse zur Kontrolle von Realwelt-Tests. Sie können Informationen verlangen, Tests überwachen, Bedingungen prüfen und bei Risiken, Verstößen oder nicht eingehaltenen Schutzmaßnahmen Korrekturen, Aussetzung oder Beendigung verlangen.

Originaltext anzeigen
1. Die Marktüberwachungsbehörden verfügen über die Zuständigkeiten und Befugnisse, um sicherzustellen, dass die Prüfungen unter realen Bedingungen im Einklang mit dieser Verordnung stehen.
2. Werden für KI-Systeme, die im Rahmen einer KI-Sandbox gemäß
Artikel 58
beaufsichtigt werden, Tests unter realen Bedingungen durchgeführt, überprüfen die Marktaufsichtsbehörden im Rahmen ihrer Aufsichtsfunktion für die KI-Sandbox die Einhaltung von
Artikel 60
. Diese Behörden können gegebenenfalls zulassen, dass der Anbieter oder der potenzielle Anbieter die Tests unter realen Bedingungen abweichend von den in
Artikel 60
Absatz 4 Buchstaben f und g genannten Bedingungen durchführt.
3. Wurde eine Marktüberwachungsbehörde vom potenziellen Dienstleistungserbringer, vom Dienstleistungserbringer oder von einem Dritten über ein schwerwiegendes Vorkommnis informiert oder hat sie andere Gründe für die Annahme, dass die in den
Artikeln 60
und
61
genannten Bedingungen nicht erfüllt sind, kann sie in ihrem Hoheitsgebiet je nach Sachlage eine der folgenden Entscheidungen treffen:
(a) die Prüfung unter realen Bedingungen auszusetzen oder zu beenden;
(b) vom Dienstleistungserbringer oder potenziellen Dienstleistungserbringer und vom Betreiber oder potenziellen Betreiber zu verlangen, die Prüfung unter realen Bedingungen in irgendeiner Form zu ändern.
4. (5) Hat eine Marktüberwachungsbehörde eine Entscheidung gemäß Absatz 3 des vorliegenden Artikels getroffen oder eine Ablehnung im Sinne von
Artikel 60
Absatz 4 Buchstabe b ausgesprochen, so sind in der Entscheidung oder Ablehnung die Gründe dafür anzugeben und es ist anzugeben, wie der Dienstleistungserbringer oder der potenzielle Dienstleistungserbringer die Entscheidung oder Ablehnung anfechten kann.
5. Hat eine Marktüberwachungsbehörde eine Entscheidung gemäß Absatz 3 getroffen, so teilt sie den Marktüberwachungsbehörden der anderen Mitgliedstaaten, in denen das AI-System gemäß dem Prüfplan getestet wurde, gegebenenfalls die Gründe hierfür mit.
Quelle öffnen
Art. 77

Befugnisse der Behörden zum Schutz der Grundrechte

Gibt Grundrechtebehörden Zugang zu Dokumentation und Informationen, wenn Hochrisiko-KI ihre Mandate berührt. So können Datenschutz-, Gleichbehandlungs-, Verbraucher-, Arbeits- oder andere Schutzbehörden AI-Act-relevante Grundrechtsrisiken wirksam prüfen.

Originaltext anzeigen
1. Nationale Behörden oder Stellen, die die Einhaltung der Verpflichtungen aus dem Unionsrecht zum Schutz der Grundrechte, einschließlich des Rechts auf Nichtdiskriminierung, im Zusammenhang mit der Verwendung von AI-Systemen mit hohem Risiko gemäß
Anhang III
überwachen oder durchsetzen, sind befugt, Zugang zu den gemäß dieser Verordnung erstellten oder aufbewahrten Unterlagen in einer zugänglichen Sprache und einem zugänglichen Format zu verlangen und zu gewähren, wenn der Zugang zu diesen Unterlagen für die wirksame Erfüllung ihrer Aufgaben im Rahmen ihrer Zuständigkeit erforderlich ist. Die betreffende Behörde oder Stelle unterrichtet die Marktüberwachungsbehörde des betreffenden Mitgliedstaats über ein solches Ersuchen.
2. Bis zum 2. November 2024 ermittelt jeder Mitgliedstaat die in Absatz 1 genannten Behörden oder Stellen und macht eine Liste von ihnen öffentlich zugänglich. Die Mitgliedstaaten übermitteln die Liste der Kommission und den anderen Mitgliedstaaten und halten die Liste auf dem neuesten Stand.
3. Reichen die in Absatz 1 genannten Unterlagen nicht aus, um festzustellen, ob ein Verstoß gegen die Verpflichtungen aus dem Unionsrecht zum Schutz der Grundrechte vorliegt, kann die in Absatz 1 genannte Behörde oder Stelle bei der Marktüberwachungsbehörde einen mit Gründen versehenen Antrag auf Durchführung von Tests des AI-Systems für Hochrisikoprodukte mit technischen Mitteln stellen. Die Marktüberwachungsbehörde veranlasst die Prüfung unter enger Einbeziehung der ersuchenden Behörde oder Stelle innerhalb einer angemessenen Frist nach dem Ersuchen.
4. Alle Informationen oder Unterlagen, die die in Absatz 1 des vorliegenden Artikels genannten einzelstaatlichen Behörden oder Stellen in Anwendung dieses Artikels erhalten haben, sind gemäß den in
Artikel 78
festgelegten Vertraulichkeitsverpflichtungen zu behandeln.
Quelle öffnen
Art. 78

Vertraulichkeit

Schützt vertrauliche Informationen in AI-Act-Verfahren, einschließlich Geschäftsgeheimnissen, Qüllcode, Sicherheitsinformationen, personenbezogenen Daten und Strafverfolgungsinteressen. Offenlegung ist nur soweit erlaubt, wie sie für Durchsetzung, Rechtsschutz oder öffentliche Interessen erforderlich ist.

Originaltext anzeigen
1. Die Kommission, die Marktüberwachungsbehörden und die notifizierten Stellen sowie alle anderen natürlichen oder juristischen Personen, die an der Anwendung dieser Verordnung beteiligt sind, wahren im Einklang mit dem Unionsrecht oder dem nationalen Recht die Vertraulichkeit der Informationen und Daten, die sie bei der Durchführung ihrer Aufgaben und Tätigkeiten erhalten haben, so, dass insbesondere der Schutz gewährleistet ist:
(a) Rechte des geistigen Eigentums und vertrauliche Geschäftsinformationen oder Geschäftsgeheimnisse einer natürlichen oder juristischen Person, einschließlich Quellcode, außer in den in Artikel 5 der Richtlinie (EU) 2016/943 des Europäischen Parlaments und des Rates
[57]
genannten Fällen;
(b) die wirksame Durchführung dieser Verordnung, insbesondere für die Zwecke von Inspektionen, Untersuchungen oder Audits;
(c) öffentliche und nationale Sicherheitsinteressen;
(d) die Durchführung von Straf- oder Verwaltungsverfahren;
(e) Informationen, die nach dem Unionsrecht oder dem nationalen Recht als Verschlusssache eingestuft sind.
2. Die gemäß Absatz 1 an der Anwendung dieser Verordnung beteiligten Behörden fordern nur Daten an, die für die Bewertung des von KI-Systemen ausgehenden Risikos und für die Ausübung ihrer Befugnisse im Einklang mit dieser Verordnung und der Verordnung (EU) 2019/1020 unbedingt erforderlich sind. Sie ergreifen angemessene und wirksame Cybersicherheitsmaßnahmen, um die Sicherheit und Vertraulichkeit der erhaltenen Informationen und Daten zu schützen, und löschen die erhobenen Daten, sobald sie für den Zweck, für den sie erhoben wurden, nicht mehr benötigt werden, im Einklang mit dem geltenden Unionsrecht oder dem nationalen Recht.
3. Unbeschadet der Absätze 1 und 2 werden Informationen, die auf vertraulicher Basis zwischen den zuständigen nationalen Behörden oder zwischen den zuständigen nationalen Behörden und der Kommission ausgetauscht werden, nicht ohne vorherige Konsultation der zuständigen nationalen Behörde, von der die Informationen stammen, und des Einsatzpartners weitergegeben, wenn die in
Anhang III
Nummern 1, 6 oder 7 genannten AI-Systeme mit hohem Risiko von Strafverfolgungs-, Grenzkontroll-, Einwanderungs- oder Asylbehörden verwendet werden und wenn eine solche Weitergabe die öffentlichen und nationalen Sicherheitsinteressen gefährden würde. Dieser Informationsaustausch erstreckt sich nicht auf sensible operative Daten im Zusammenhang mit den Tätigkeiten der Strafverfolgungs-, Grenzkontroll-, Einwanderungs- oder Asylbehörden. Handelt es sich bei den Strafverfolgungs-, Einwanderungs- oder Asylbehörden um Anbieter von AI-Systemen mit hohem Risiko im Sinne von
Anhang III
Nummern 1, 6 oder 7, so verbleibt die in
Anhang IV
genannte technische Dokumentation in den Räumlichkeiten dieser Behörden. Diese Behörden stellen sicher, dass die in
Artikel 74
Absätze 8 und 9 genannten Marktüberwachungsbehörden auf Anfrage unverzüglich Zugang zu den Unterlagen oder eine Kopie davon erhalten können. Nur Bedienstete der Marktüberwachungsbehörde, die über eine entsprechende Sicherheitsüberprüfung verfügen, haben Zugang zu diesen Unterlagen oder einer Kopie davon.
4. Die Absätze 1, 2 und 3 berühren weder die Rechte und Pflichten der Kommission, der Mitgliedstaaten und ihrer zuständigen Behörden sowie der benannten Stellen in Bezug auf den Informationsaustausch und die Verbreitung von Warnungen, auch im Rahmen der grenzüberschreitenden Zusammenarbeit, noch die strafrechtlichen Informationspflichten der Betroffenen in den Mitgliedstaaten.
5. Die Kommission und die Mitgliedstaaten können erforderlichenfalls und im Einklang mit den einschlägigen Bestimmungen internationaler und handelspolitischer Übereinkünfte vertrauliche Informationen mit Regulierungsbehörden von Drittländern austauschen, mit denen sie bilaterale oder multilaterale Vertraulichkeitsvereinbarungen getroffen haben, die ein angemessenes Maß an Vertraulichkeit gewährleisten.
[57] Richtlinie (EU) 2016/943 des Europäischen Parlaments und des Rates vom 8. Juni 2016 über den Schutz von nicht offengelegtem Know-how und Geschäftsinformationen (Geschäftsgeheimnissen) vor rechtswidrigem Erwerb, rechtswidriger Nutzung und rechtswidriger Offenlegung (ABl. L 157 vom 15.6.2016, S. 1).
Quelle öffnen
Art. 79

Verfahren auf nationaler Ebene für den Umgang mit KI-Systemen, die ein Risiko darstellen

Regelt nationale Verfahren bei KI-Systemen mit Risiko. Marktüberwachungsbehörden bewerten das Risiko, verlangen innerhalb gesetzter Fristen Korrektur, Rücknahme oder Rückruf, informieren Kommission und Mitgliedstaaten und können vorläufige Maßnahmen ergreifen.

Originaltext anzeigen
1. KI-Systeme, die ein Risiko darstellen, sind als "Produkt, das ein Risiko darstellt" im Sinne von Artikel 3 Nummer 19 der Verordnung (EU) 2019/1020 zu verstehen, sofern sie ein Risiko für die Gesundheit oder Sicherheit von Personen oder für die Grundrechte darstellen.
2. Hat die Marktüberwachungsbehörde eines Mitgliedstaats hinreichenden Grund zu der Annahme, dass ein KI-System ein Risiko im Sinne von Absatz 1 des vorliegenden Artikels darstellt, so bewertet sie das betreffende KI-System im Hinblick auf die Einhaltung aller in dieser Verordnung festgelegten Anforderungen und Verpflichtungen. Besondere Aufmerksamkeit wird AI-Systemen gewidmet, die ein Risiko für schutzbedürftige Gruppen darstellen. Werden Risiken für die Grundrechte festgestellt, unterrichtet die Marktüberwachungsbehörde auch die in
Artikel 77
Absatz 1 genannten einschlägigen nationalen Behörden oder Stellen und arbeitet uneingeschränkt mit ihnen zusammen. Die betreffenden Akteur arbeiten soweit erforderlich mit der Marktüberwachungsbehörde und den anderen in
Artikel 77
Absatz 1 genannten nationalen Behörden oder Stellen zusammen. Stellt die Marktüberwachungsbehörde oder gegebenenfalls die Marktüberwachungsbehörde in Zusammenarbeit mit der in
Artikel
77 Absatz 1 genannten nationalen Behörde im Verlauf dieser Bewertung fest, dass das AI-System die Anforderungen und Pflichten dieser Verordnung nicht erfüllt, fordert sie den betreffenden Akteur unverzüglich auf, innerhalb einer von der Marktüberwachungsbehörde vorgeschriebenen Frist, in jedem Fall aber innerhalb von 15 Arbeitstagen, oder, falls dies in den einschlägigen Harmonisierungsrechtsvorschriften der Union vorgesehen ist, innerhalb einer kürzeren Frist alle geeigneten Korrekturmaßnahmen zu ergreifen, um die Konformität des AI-Systems herzustellen, das AI-System vom Markt zu nehmen oder zurückzurufen. Die Marktüberwachungsbehörde unterrichtet die betreffende notifizierte Stelle entsprechend. Artikel 18 der Verordnung (EU) 2019/1020 gilt für die in Unterabsatz 2 des vorliegenden Absatzes genannten Maßnahmen.
3. Ist die Marktüberwachungsbehörde der Auffassung, dass sich die Nichtkonformität nicht auf ihr Hoheitsgebiet beschränkt, unterrichtet sie die Kommission und die übrigen Mitgliedstaaten unverzüglich über die Ergebnisse der Beurteilung und die Maßnahmen, zu denen sie den Betreiber aufgefordert hat.
4. Der Betreiber stellt sicher, dass alle geeigneten Korrekturmaßnahmen in Bezug auf alle betroffenen KI-Systeme, die er auf dem Unionsmarkt bereitgestellt hat, ergriffen werden.
5. Ergreift der Akteur eines KI-Systems innerhalb der in Absatz 2 genannten Frist keine angemessenen Korrekturmaßnahmen, so trifft die Marktüberwachungsbehörde alle geeigneten vorläufigen Maßnahmen, um die Bereitstellung des KI-Systems auf ihrem nationalen Markt oder seine Inbetriebnahme zu untersagen oder einzuschränken, das Produkt oder das eigenständige KI-System von diesem Markt zu nehmen oder zurückzurufen. Diese Behörde unterrichtet die Kommission und die anderen Mitgliedstaaten unverzüglich über diese Maßnahmen.
6. Die Mitteilung gemäß Absatz 5 enthält alle verfügbaren Angaben, insbesondere die zur Identifizierung des nichtkonformen KI-Systems erforderlichen Informationen, die Herkunft des KI-Systems und die Lieferkette, die Art der behaupteten Nichtkonformität und des Risikos sowie die Art und Dauer der ergriffenen nationalen Maßnahmen und die Argumente des betreffenden Betreibers. Die Marktüberwachungsbehörden geben insbesondere an, ob die Nichtkonformität auf einen oder mehrere der folgenden Punkte zurückzuführen ist:
(a) die Nichteinhaltung des Verbots der in
Artikel 5
genannten AI-Praktiken;
(b) die Nichteinhaltung der in
Kapitel III
festgelegten Anforderungen durch ein AI-System mit hohem Risiko,
Abschnitt 2;
(c) Mängel in den harmonisierten Normen oder gemeinsamen Spezifikationen gemäß den
Artikeln 40
und
41
, die eine Konformitätsvermutung begründen;
(d) Nichteinhaltung von
Artikel 50
.
7. Die Marktüberwachungsbehörden, mit Ausnahme der Marktüberwachungsbehörde des Mitgliedstaats, der das Verfahren eingeleitet hat, unterrichten die Kommission und die übrigen Mitgliedstaaten unverzüglich über alle erlassenen Maßnahmen und jede weitere ihnen vorliegende Information über die Nichtkonformität des betreffenden KI-Systems sowie, falls sie der gemeldeten nationalen Maßnahme nicht zustimmen, über ihre Einwände.
8. Erhebt weder eine Marktüberwachungsbehörde eines Mitgliedstaats noch die Kommission innerhalb von drei Monaten nach Eingang der in Absatz 5 des vorliegenden Artikels genannten Mitteilung Einwände gegen eine vorläufige Maßnahme, die von einer Marktüberwachungsbehörde eines anderen Mitgliedstaats getroffen wurde, so gilt diese Maßnahme als gerechtfertigt. Dies gilt unbeschadet der Verfahrensrechte des betroffenen Akteur gemäß Artikel 18 der Verordnung (EU) 2019/1020. Die in diesem Absatz genannte Dreimonatsfrist wird auf 30 Tage verkürzt, wenn das Verbot der in
Artikel 5
dieser Verordnung genannten AI-Praktiken nicht eingehalten wird.
9. Die Marktüberwachungsbehörden stellen sicher, dass unverzüglich geeignete restriktive Maßnahmen in Bezug auf das betreffende Produkt oder das betreffende AI-System ergriffen werden, wie etwa die Rücknahme des Produkts oder des AI-Systems von ihrem Markt.
Quelle öffnen
Art. 80

Verfahren für den Umgang mit KI-Systemen, die vom Anbieter in Anwendung von Anhang III als nicht hochriskant eingestuft werden

Regelt Fälle, in denen Anbieter ein Anhang-III-System als nicht hochriskant einstufen, eine Behörde aber Zweifel hat. Die Behörde kann eine Bewertung verlangen; bei falscher Einstufung muss der Anbieter Korrekturmaßnahmen setzen und kann bei böswilliger oder schwerwiegender Falscheinstufung sanktioniert werden.

Originaltext anzeigen
1. Hat eine Marktüberwachungsbehörde hinreichenden Grund zu der Annahme, dass ein vom Anbieter gemäß
Artikel 6
Absatz 3 als nicht risikobehaftet eingestuftes KI-System tatsächlich risikobehaftet ist, so nimmt die Marktüberwachungsbehörde eine Bewertung des betreffenden KI-Systems im Hinblick auf seine Einstufung als risikobehaftetes KI-System auf der Grundlage der in
Artikel 6
Absatz 3 und in den Leitlinien der Kommission festgelegten Bedingungen vor.
2. Stellt die Marktüberwachungsbehörde bei dieser Bewertung fest, dass das betreffende KI-System mit einem hohen Risiko behaftet ist, fordert sie den betreffenden Anbieter unverzüglich auf, alle erforderlichen Maßnahmen zu ergreifen, um das KI-System mit den Anforderungen und Verpflichtungen dieser Verordnung in Einklang zu bringen, und innerhalb einer von der Marktüberwachungsbehörde festgesetzten Frist geeignete Korrekturmaßnahmen zu ergreifen.
3. Ist die Marktüberwachungsbehörde der Auffassung, dass die Verwendung des betreffenden KI-Systems nicht auf ihr Hoheitsgebiet beschränkt ist, unterrichtet sie die Kommission und die anderen Mitgliedstaaten unverzüglich über die Ergebnisse der Bewertung und die Maßnahmen, zu denen sie den Anbieter aufgefordert hat.
4. Der Anbieter stellt sicher, dass alle erforderlichen Maßnahmen ergriffen werden, um das KI-System mit den in dieser Verordnung festgelegten Anforderungen und Verpflichtungen in Einklang zu bringen. Bringt der Anbieter des betreffenden AI-Systems diese Anforderungen und Verpflichtungen nicht innerhalb der in Absatz 2 des vorliegenden Artikels genannten Frist in Einklang, so werden gegen ihn Geldbußen gemäß
Artikel 99
verhängt.
5. Der Anbieter gewährleistet, dass alle geeigneten Korrekturmaßnahmen in Bezug auf alle betroffenen KI-Systeme, die er auf dem Unionsmarkt bereitgestellt hat, ergriffen werden.
6. Ergreift der Anbieter des betreffenden AI-Systems innerhalb der in Absatz 2 des vorliegenden Artikels genannten Frist keine angemessenen Abhilfemaßnahmen, so gilt
Artikel 79
Absätze 5 bis 9.
7. Stellt die Marktüberwachungsbehörde im Zuge der Bewertung gemäß Absatz 1 dieses Artikels fest, dass das KI-System vom Anbieter fälschlicherweise als nicht risikobehaftet eingestuft wurde, um die Anwendung der Anforderungen in
Kapitel III
Abschnitt 2 zu umgehen, so werden gegen den Anbieter Geldbußen gemäß
Artikel 99
verhängt.
8. Bei der Ausübung ihrer Befugnis, die Anwendung dieses Artikels zu überwachen, können die Marktüberwachungsbehörden im Einklang mit Artikel 11 der Verordnung (EU) 2019/1020 geeignete Kontrollen durchführen und dabei insbesondere die in der EU-Datenbank gemäß
Artikel 71
dieser Verordnung gespeicherten Informationen berücksichtigen.
Quelle öffnen
Art. 81

Schutzklauselverfahren der Union

Beschreibt das EU-Schutzklauselverfahren, wenn Mitgliedstaaten Maßnahmen gegen riskante KI-Systeme ergreifen und andere Staaten oder die Kommission Einwände haben. Am Ende entscheidet die Kommission, ob nationale Maßnahmen gerechtfertigt sind und unionsweit zu beachten sind.

Originaltext anzeigen
1. Erhebt die Marktüberwachungsbehörde eines Mitgliedstaats innerhalb von drei Monaten nach Eingang der Meldung gemäß
Artikel 79
Absatz 5 oder innerhalb von 30 Tagen im Falle der Nichteinhaltung des Verbots der in
Artikel 5
genannten AI-Praktiken Einwände gegen eine von einer anderen Marktüberwachungsbehörde getroffene Maßnahme oder ist die Kommission der Auffassung, dass die Maßnahme gegen das Unionsrecht verstößt, so konsultiert die Kommission unverzüglich die Marktüberwachungsbehörde des betreffenden Mitgliedstaats und den/die Akteuren und bewertet die nationale Maßnahme. Auf der Grundlage der Ergebnisse dieser Bewertung entscheidet die Kommission innerhalb von sechs Monaten bzw. im Falle der Nichteinhaltung des Verbots der in
Artikel 5
genannten AI-Praktiken innerhalb von 60 Tagen, gerechnet ab der Meldung gemäß
Artikel 79
Absatz 5, ob die nationale Maßnahme gerechtfertigt ist, und teilt ihre Entscheidung der Marktüberwachungsbehörde des betreffenden Mitgliedstaats mit. Die Kommission unterrichtet auch alle anderen Marktüberwachungsbehörden über ihre Entscheidung.
2. Hält die Kommission die von dem betreffenden Mitgliedstaat getroffene Maßnahme für gerechtfertigt, so stellen alle Mitgliedstaaten sicher, dass sie geeignete restriktive Maßnahmen in Bezug auf das betreffende AI-System ergreifen, indem sie beispielsweise verlangen, dass das AI-System unverzüglich vom Markt genommen wird, und unterrichten die Kommission entsprechend. Hält die Kommission die nationale Maßnahme für ungerechtfertigt, so nimmt der betreffende Mitgliedstaat die Maßnahme zurück und unterrichtet die Kommission davon.
3. Wird die nationale Maßnahme für gerechtfertigt gehalten und ist die Nichtkonformität des AI-Systems auf Mängel der harmonisierten Normen oder gemeinsamen Spezifikationen gemäß den
Artikeln 40
und
41
der vorliegenden Verordnung zurückzuführen, wendet die Kommission das Verfahren gemäß Artikel 11 der Verordnung (EU) Nr. 1025/2012 an.
Quelle öffnen
Art. 82

Konforme KI-Systeme, die ein Risiko darstellen

Erfasst auch formal konforme Hochrisiko-KI, die trotzdem Risiken verursacht. Behörden können Anbieter verpflichten, Risiken zu beseitigen, System anzupassen, zurückzunehmen oder zurückzurufen; Kommission und andere Mitgliedstaaten werden informiert.

Originaltext anzeigen
1. Stellt die Marktüberwachungsbehörde eines Mitgliedstaats nach einer Bewertung gemäß
Artikel 79
und nach Anhörung der in
Artikel 77
Absatz 1 genannten zuständigen nationalen Behörde fest, dass ein mit hohem Risiko behaftetes System der künstlichen Intelligenz zwar mit dieser Verordnung übereinstimmt, aber dennoch eine Gefahr für die Gesundheit oder Sicherheit von Personen, für die Grundrechte oder für andere im öffentlichen Interesse schützenswerte Aspekte darstellt, so fordert sie den betreffenden Akteur auf, alle geeigneten Maßnahmen zu ergreifen, um sicherzustellen, dass das betreffende System der künstlichen Intelligenz bei seinem Inverkehrbringen oder seiner Inbetriebnahme innerhalb einer von ihr gesetzten Frist unverzüglich diese Gefahr nicht mehr aufweist.
2. Der Anbieter oder sonstige relevante Akteur gewährleistet, dass die Korrekturmaßnahmen in Bezug auf alle betroffenen KI-Systeme, die er auf dem Unionsmarkt bereitgestellt hat, innerhalb der von der Marktüberwachungsbehörde des in Absatz 1 genannten Mitgliedstaats vorgeschriebenen Frist ergriffen werden.
3. Die Mitgliedstaaten unterrichten die Kommission und die anderen Mitgliedstaaten unverzüglich über eine Feststellung gemäß Absatz 1. Diese Informationen umfassen alle verfügbaren Angaben, insbesondere die zur Identifizierung des betreffenden AI-Systems erforderlichen Daten, die Herkunft und die Lieferkette des AI-Systems, die Art des Risikos sowie die Art und Dauer der getroffenen nationalen Maßnahmen.
4. Die Kommission konsultiert unverzüglich die betroffenen Mitgliedstaaten und die betreffenden Wirtschaftsbeteiligten und nimmt eine Bewertung der getroffenen nationalen Maßnahmen vor. Auf der Grundlage der Ergebnisse dieser Bewertung entscheidet die Kommission, ob die Maßnahme gerechtfertigt ist, und schlägt erforderlichenfalls andere geeignete Maßnahmen vor.
5. Die Kommission teilt ihre Entscheidung unverzüglich den betroffenen Mitgliedstaaten und den betreffenden Wirtschaftsbeteiligten mit. Sie unterrichtet auch die anderen Mitgliedstaaten.
Quelle öffnen
Art. 83

Formale Nichteinhaltung

Regelt formale Nichtkonformität, etwa fehlende CE-Kennzeichnung, fehlende Konformitätserklärung, fehlende Registrierung, unvollständige Dokumentation oder falsche Anbieterangaben. Behörden setzen Fristen zur Behebung; bei Fortbestand können sie Bereitstellung einschränken, verbieten oder Rückruf/Rücknahme verlangen.

Originaltext anzeigen
1. Gelangt die Marktüberwachungsbehörde eines Mitgliedstaats zu einer der folgenden Feststellungen, so fordert sie den betreffenden Dienstleistungserbringer auf, die betreffende Nichtkonformität innerhalb einer von ihr gesetzten Frist abzustellen:
(a) Die CE-Kennzeichnung wurde unter Verstoß gegen
Artikel 48
angebracht;
(b) die CE-Kennzeichnung nicht angebracht wurde;
(c) die EU-Konformitätserklärung gemäß
Artikel 47
nicht ausgestellt wurde;
(d) die EU-Konformitätserklärung gemäß
Artikel 47
nicht ordnungsgemäß ausgestellt wurde;
(e) die Registrierung in der EU-Datenbank gemäß
Artikel 71
nicht erfolgt ist;
(f) gegebenenfalls wurde kein Bevollmächtigter ernannt;
(g) Es sind keine technischen Unterlagen verfügbar.
2. Besteht die Nichtkonformität gemäß Absatz 1 weiter, trifft die Marktüberwachungsbehörde des betreffenden Mitgliedstaats geeignete und verhältnismäßige Maßnahmen, um die Bereitstellung des Hochrisiko-VI-Systems auf dem Markt zu beschränken oder zu untersagen oder um zu gewährleisten, dass es unverzüglich zurückgerufen oder vom Markt genommen wird.
Quelle öffnen
Art. 84

Union AI Testing Support Structures

Erlaubt der Kommission, EU-Testunterstützungsstrukturen für KI zu benennen. Diese helfen Marktüberwachungsbehörden technisch, etwa durch Prüfkapazität, Expertise und gemeinsame Methoden für KI-Tests.

Originaltext anzeigen
1. Die Kommission benennt eine oder mehrere EU-Strukturen zur Unterstützung von AI-Tests, die die in
Artikel 21
Absatz 6 der Verordnung (EU) 2019/1020 aufgeführten Aufgaben im Bereich der AI wahrnehmen.
2. Unbeschadet der in Absatz 1 genannten Aufgaben leisten die AI-Testunterstützungsstrukturen der Union auf Ersuchen des Ausschusses, der Kommission oder der Marktüberwachungsbehörden auch unabhängige technische oder wissenschaftliche Beratung.
Quelle öffnen
Art. 85

Recht auf Einreichung einer Beschwerde bei einer Marktaufsichtsbehörde

Gibt jeder natürlichen oder juristischen Person das Recht, bei Marktüberwachungsbehörden Beschwerde über vermutete AI-Act-Verstöße einzulegen. Die Beschwerde muss nach nationalem Verfahrensrecht behandelt werden.

Originaltext anzeigen
Unbeschadet anderer verwaltungsrechtlicher oder gerichtlicher Rechtsbehelfe kann jede natürliche oder juristische Person, die Grund zu der Annahme hat, dass ein Verstoß gegen die Bestimmungen dieser Verordnung vorliegt, bei der zuständigen Marktüberwachungsbehörde Beschwerde einlegen. Im Einklang mit der Verordnung (EU) 2019/1020 werden solche Beschwerden bei der Durchführung von Marktüberwachungstätigkeiten berücksichtigt und im Einklang mit den von den Marktüberwachungsbehörden dafür eingerichteten Verfahren bearbeitet.
Quelle öffnen
Art. 86

Recht auf Erläuterung der individuellen Entscheidungsfindung

Gibt betroffenen Personen ein Recht auf Erläuterung, wenn eine Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung auf einem Anhang-III-Hochrisiko-System beruht. Die Erläuterung muss die Rolle des KI-Systems und die wesentlichen Elemente der Entscheidung verständlich machen; Spezialregeln anderer Rechtsakte bleiben unberührt.

Originaltext anzeigen
1. Jede betroffene Person, die von einer Entscheidung betroffen ist, die der Einsatzbetrieb auf der Grundlage der Ergebnisse eines in
Anhang III
aufgeführten AI-Systems mit hohem Risiko - mit Ausnahme der unter Nummer 2 dieses Anhangs aufgeführten Systeme - getroffen hat und die Rechtswirkungen entfaltet oder die Person in ähnlicher Weise erheblich beeinträchtigt, so dass sie ihrer Ansicht nach nachteilige Auswirkungen auf ihre Gesundheit, ihre Sicherheit oder ihre Grundrechte hat, hat das Recht, vom Einsatzbetrieb klare und aussagekräftige Erklärungen zur Rolle des AI-Systems im Entscheidungsverfahren und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten.
2. Absatz 1 gilt nicht für die Verwendung von KI-Systemen, für die sich aus dem Unionsrecht oder dem nationalen Recht im Einklang mit dem Unionsrecht Ausnahmen von der Verpflichtung nach jenem Absatz oder Einschränkungen ergeben.
3. (4) Dieser Artikel findet nur insoweit Anwendung, als das in Absatz 1 genannte Recht nicht anderweitig im Unionsrecht vorgesehen ist.
Quelle öffnen
Art. 87

Meldung von Verstößen und Schutz von Personen, die Verstöße melden

Verweist für Meldungen von AI-Act-Verstößen auf den EU-Hinweisgeberschutz. Personen, die Verstöße melden, sollen vor Repressalien geschützt sein, wenn die Voraussetzungen der Whistleblower-Regeln erfüllt sind.

Originaltext anzeigen
Die Richtlinie (EU) 2019/1937 gilt für die Meldung von Verstößen gegen diese Verordnung und den Schutz von Personen, die solche Verstöße melden.
Quelle öffnen
Art. 88

Durchsetzung der Verpflichtungen von Anbietern von KI-Modellen für allgemeine Zwecke

Regelt, dass die Kommission die Pflichten von GPAI-Anbietern durchsetzt. Das AI Office unterstützt, kann Informationen sammeln und Behörden einbinden; nationale Marktüberwachungsbehörden können Hinweise auf GPAI-Verstöße an die Kommission weitergeben.

Originaltext anzeigen
1. Die Kommission hat die ausschließliche Zuständigkeit für die Überwachung und Durchsetzung von
Kapitel V
unter Berücksichtigung der Verfahrensgarantien nach
Artikel 94
. (2) Unbeschadet der Organisationsbefugnisse der Kommission und der auf den Verträgen beruhenden Aufteilung der Zuständigkeiten zwischen den Mitgliedstaaten und der Union überträgt die Kommission die Durchführung dieser Aufgaben dem AI-Büro.
2. Unbeschadet des
Artikels 75
Absatz 3 können die Marktüberwachungsbehörden die Kommission ersuchen, die in diesem Abschnitt festgelegten Befugnisse auszuüben, wenn dies zur Unterstützung bei der Erfüllung ihrer Aufgaben im Rahmen dieser Verordnung notwendig und verhältnismäßig ist.
Quelle öffnen
Art. 89

Überwachungsmaßnahmen

Gibt dem AI Office Überwachungsbefugnisse gegenüber GPAI-Anbietern. Es kann Maßnahmen zur wirksamen Umsetzung und Einhaltung vorbereiten, Informationen auswerten, Modellrisiken beobachten und die Kommission bei Durchsetzungsschritten unterstützen.

Originaltext anzeigen
1. Zur Erfüllung der ihm nach diesem Abschnitt übertragenen Aufgaben kann das Amt für künstliche Intelligenz die erforderlichen Maßnahmen ergreifen, um die wirksame Durchführung und Einhaltung dieser Verordnung durch die Anbieter von allgemeinen künstlichen Intelligenzmodellen zu überwachen, einschließlich der Einhaltung der genehmigten Verhaltenskodizes.
2. Die nachgeschalteten Anbieter haben das Recht, eine Beschwerde wegen eines Verstoßes gegen diese Verordnung einzureichen. Eine Beschwerde muss hinreichend begründet sein und mindestens folgende Angaben enthalten
(a) die Kontaktstelle des Anbieters des betreffenden Mehrzweck-KI-Modells;
(b) eine Beschreibung des relevanten Sachverhalts, der betreffenden Bestimmungen dieser Verordnung und der Gründe, warum der nachgeschaltete Anbieter der Auffassung ist, dass der Anbieter des betreffenden KI-Modells für allgemeine Zwecke gegen diese Verordnung verstoßen hat;
(c) alle sonstigen Informationen, die der nachgeschaltete Anbieter, der die Anfrage gestellt hat, für relevant hält, gegebenenfalls auch Informationen, die er von sich aus eingeholt hat.
Quelle öffnen
Art. 90

Warnungen vor systemischen Risiken durch das Wissenschaftliche Gremium

Erlaubt dem wissenschaftlichen Gremium qualifizierte Warnungen an das AI Office, wenn ein GPAI-Modell ein konkretes systemisches Risiko auf EU-Ebene vermuten lässt oder die Einstufung als systemisches Risiko in Betracht kommt. Solche Warnungen können Kommissionsmaßnahmen auslösen.

Originaltext anzeigen
1. Das Wissenschaftliche Gremium kann eine qualifizierte Warnmeldung an das AI-Büro übermitteln, wenn es Grund zu der Annahme hat, dass:
(a) ein allgemeines KI-Modell ein konkretes, identifizierbares Risiko auf Unionsebene darstellt; oder,
(b) ein KI-Modell für allgemeine Zwecke erfüllt die in
Artikel 51
genannten Bedingungen.
2. Bei einer solchen qualifizierten Ausschreibung kann die Kommission über das AI-Büro und nach Unterrichtung des Ausschusses die in diesem Abschnitt vorgesehenen Befugnisse zur Beurteilung der Angelegenheit ausüben. Das AI-Büro unterrichtet den Ausschuss über jede Maßnahme nach den
Artikeln 91
bis
94
.
3. Eine qualifizierte Ausschreibung muss hinreichend begründet sein und mindestens folgende Angaben enthalten
(a) die Kontaktstelle des Anbieters des KI-Allzweckmodells für das betreffende systemische Risiko;
(b) eine Beschreibung des relevanten Sachverhalts und der Gründe für die Ausschreibung durch das wissenschaftliche Gremium;
(c) alle sonstigen Informationen, die das Wissenschaftliche Gremium für sachdienlich hält, gegebenenfalls auch Informationen, die es aus eigener Initiative eingeholt hat.
Quelle öffnen
Art. 91

Befugnis zur Anforderung von Unterlagen und Informationen

Ermächtigt die Kommission, von GPAI-Anbietern Unterlagen und Informationen zu verlangen, wenn dies zur Kontrolle der Pflichten nötig ist. Anfragen müssen Zweck, Rechtsgrundlage, Fristen und mögliche Sanktionen nennen; vertrauliche Informationen bleiben geschützt.

Originaltext anzeigen
1. Die Kommission kann den Anbieter des betreffenden Mehrzweck-KI-Modells auffordern, die von ihm gemäß den
Artikeln 53
und
55
erstellte Dokumentation oder alle zusätzlichen Informationen vorzulegen, die erforderlich sind, um die Einhaltung dieser Verordnung durch den Anbieter zu bewerten.
2. Vor der Übermittlung des Auskunftsersuchens kann das AI-Büro einen strukturierten Dialog mit dem Anbieter des AI-Allzweckmodells einleiten.
3. Auf hinreichend begründeten Antrag des Wissenschaftlichen Gremiums kann die Kommission ein Auskunftsersuchen an einen Anbieter eines KI-Modells für allgemeine Zwecke richten, wenn der Zugang zu Informationen für die Erfüllung der Aufgaben des Wissenschaftlichen Gremiums gemäß
Artikel 68
Absatz 2 erforderlich und angemessen ist.
4. In dem Auskunftsersuchen sind die Rechtsgrundlage und der Zweck des Ersuchens anzugeben, die gewünschten Informationen zu nennen, eine Frist für die Erteilung der Auskünfte zu setzen und die in
Artikel 101
vorgesehenen Geldbußen für die Erteilung unrichtiger, unvollständiger oder irreführender Auskünfte anzugeben.
5. Der Anbieter des betreffenden Mehrzweck-AI-Modells oder sein Vertreter erteilt die verlangten Auskünfte. Bei juristischen Personen, Gesellschaften oder Unternehmen oder wenn der Anbieter keine Rechtspersönlichkeit besitzt, erteilen die nach Gesetz oder Satzung zu ihrer Vertretung befugten Personen die verlangten Auskünfte im Namen des Anbieters des betreffenden Mehrzweck-VI-Modells. Ordnungsgemäß bevollmächtigte Rechtsanwälte können die Auskünfte im Namen ihrer Mandanten erteilen. Die Mandanten bleiben jedoch in vollem Umfang verantwortlich, wenn die erteilten Auskünfte unvollständig, unrichtig oder irreführend sind.
Quelle öffnen
Art. 92

Befugnis zur Durchführung von Evaluierungen

Erlaubt der Kommission, GPAI-Modelle selbst oder durch Sachverständige evaluieren zu lassen, insbesondere zur Prüfung systemischer Risiken oder möglicher Pflichtverstöße. Anbieter müssen Zugang und technische Unterstützung gewährleisten, soweit erforderlich.

Originaltext anzeigen
1. Das Amt für künstliche Intelligenz kann nach Rücksprache mit dem Beirat Bewertungen des betreffenden allgemeinen künstlichen Intelligenzmodells durchführen:
(a) um zu beurteilen, ob der Dienstleistungserbringer die Verpflichtungen aus dieser Verordnung einhält, wenn die gemäß
Artikel 91
eingeholten Informationen nicht ausreichen, oder,
(b) Untersuchung von Systemrisiken auf Unionsebene bei KI-Allzweckmodellen mit Systemrisiko, insbesondere nach einer qualifizierten Warnung des wissenschaftlichen Gremiums gemäß
Artikel 90
Absatz 1 Buchstabe a.
2. Die Kommission kann beschließen, unabhängige Sachverständige mit der Durchführung von Bewertungen in ihrem Namen zu beauftragen, auch aus dem gemäß
Artikel 68
eingerichteten wissenschaftlichen Gremium. Die für diese Aufgabe bestellten unabhängigen Sachverständigen müssen die in
Artikel 68
Absatz 2 genannten Kriterien erfüllen.
3. Für die Zwecke von Absatz 1 kann die Kommission den Zugang zu dem betreffenden KI-Allzweckmodell über APIs oder andere geeignete technische Mittel und Werkzeuge, einschließlich des Quellcodes, verlangen.
4. In dem Antrag auf Zugang sind die Rechtsgrundlage, der Zweck und die Gründe für den Antrag sowie die Frist für die Gewährung des Zugangs und die in
Artikel 101
vorgesehenen Geldbußen für die Nichtgewährung des Zugangs anzugeben.
5. Die Anbieter des betreffenden Mehrzweck-KI-Modells oder ihre Vertreter stellen die angeforderten Informationen zur Verfügung. Bei juristischen Personen, Gesellschaften oder Unternehmen oder wenn der Anbieter keine Rechtspersönlichkeit besitzt, gewähren die nach Gesetz oder Satzung vertretungsberechtigten Personen den beantragten Zugang im Namen des Anbieters des betreffenden Mehrzweck-KI-Modells.
6. Die Kommission erlässt Durchführungsrechtsakte, in denen die Modalitäten und Bedingungen für die Bewertungen, einschließlich der Modalitäten für die Einbeziehung unabhängiger Sachverständiger, sowie das Verfahren für deren Auswahl festgelegt werden. Diese Durchführungsrechtsakte werden nach dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
7. Bevor das Amt für künstliche Intelligenz Zugang zu dem betreffenden Mehrzweck-KI-Modell beantragt, kann es einen strukturierten Dialog mit dem Anbieter des Mehrzweck-KI-Modells aufnehmen, um mehr Informationen über die internen Tests des Modells, die internen Schutzmaßnahmen zur Vermeidung von Systemrisiken und andere interne Verfahren und Maßnahmen zu erhalten, die der Anbieter zur Minderung solcher Risiken getroffen hat.
Quelle öffnen
Art. 93

Befugnis, Maßnahmen zu beantragen

Ermöglicht der Kommission, von GPAI-Anbietern konkrete Maßnahmen zu verlangen, etwa zur Herstellung der Compliance, zur Risikominderung oder zur Umsetzung von Abhilfen. Bei systemischen Risiken können Maßnahmen zeitlich befristet, überwacht und mit Berichtspflichten verbunden werden.

Originaltext anzeigen
1. Soweit erforderlich und angemessen, kann die Kommission die Anbieter auffordern,:
(a) geeignete Maßnahmen zu treffen, um den Verpflichtungen nach den
Artikeln 53
und
54
nachzukommen;
(b) sie ergreift Abhilfemaßnahmen, wenn die nach
Artikel 92
durchgeführte Bewertung Anlass zu ernsthaften und begründeten Bedenken hinsichtlich eines Systemrisikos auf Unionsebene gegeben hat;
(c) die Bereitstellung des Modells auf dem Markt einschränken, es zurücknehmen oder zurückrufen.
2. Bevor eine Maßnahme beantragt wird, kann das AI-Büro einen strukturierten Dialog mit dem Anbieter des AI-Allzweckmodells einleiten.
3. (4) Bietet der Anbieter des KI-Allzweckmodells mit Systemrisiko im Rahmen des strukturierten Dialogs gemäß Absatz 2 an, Maßnahmen zur Eindämmung eines Systemrisikos auf Unionsebene zu ergreifen, so kann die Kommission diese Verpflichtungen per Beschluss für bindend erklären und feststellen, dass kein weiterer Anlass zum Handeln besteht.
Quelle öffnen
Art. 94

Verfahrensrechte der Wirtschaftsbeteiligten des AI-Modells für allgemeine Zwecke

Sichert Verfahrensrechte für GPAI-Anbieter in Kommissionsverfahren. Sie erhalten insbesondere Anhörung, Akteneinsicht und Rechtsschutz entsprechend den Marktüberwachungsgrundsätzen, soweit der AI Act keine spezielleren Regeln enthält.

Originaltext anzeigen
Artikel 18 der Verordnung (EU) 2019/1020 gilt sinngemäß für die Anbieter des allgemeinen KI-Modells, unbeschadet spezifischerer Verfahrensrechte, die in dieser Verordnung vorgesehen sind.
Quelle öffnen
Kapitel X

Verhaltenskodizes und Leitlinien

Artikel 95-96 · 2 Abschnitt(e)

Art. 95

Verhaltenskodizes für die freiwillige Anwendung von spezifischen Anforderungen

Fördert freiwillige Verhaltenskodizes für KI-Systeme außerhalb zwingender Hochrisiko-Pflichten. Sie können u. a. Transparenz, menschliche Aufsicht, Barrierefreiheit, Nachhaltigkeit, KI-Kompetenz, Diversität und ethische Leitlinien abdecken und sollen besonders KMU praktikabel einbinden.

Originaltext anzeigen
1. Das Amt für künstliche Intelligenz und die Mitgliedstaaten fördern und erleichtern die Ausarbeitung von Verhaltenskodizes, einschließlich damit verbundener Governance-Mechanismen, mit denen die freiwillige Anwendung einiger oder aller in
Kapitel III
Abschnitt 2 genannten Anforderungen auf KI-Systeme, die keine Hochrisiko-KI-Systeme sind, gefördert werden soll, wobei die verfügbaren technischen Lösungen und bewährten Praktiken der Branche, die die Anwendung dieser Anforderungen ermöglichen, berücksichtigt werden.
2. Das Amt für künstliche Intelligenz und die Mitgliedstaaten erleichtern die Ausarbeitung von Verhaltenskodizes für die freiwillige Anwendung spezifischer Anforderungen an alle künstlichen Intelligenzsysteme, auch durch die Anwender, auf der Grundlage klarer Ziele und zentraler Leistungsindikatoren zur Messung der Verwirklichung dieser Ziele, die unter anderem folgende Elemente umfassen
(a) anwendbare Elemente, die in den ethischen Leitlinien der Union für vertrauenswürdige KI vorgesehen sind;
(b) Bewertung und Minimierung der Auswirkungen von KI-Systemen auf die ökologische Nachhaltigkeit, auch im Hinblick auf energieeffiziente Programmierung und Techniken für die effiziente Gestaltung, Schulung und Nutzung von KI;
(c) Förderung der KI-Kompetenz, insbesondere von Personen, die sich mit der Entwicklung, dem Betrieb und der Nutzung von KI befassen;
(d) Erleichterung einer inklusiven und vielfältigen Gestaltung von KI-Systemen, u. a. durch die Einrichtung inklusiver und vielfältiger Entwicklungsteams und die Förderung der Beteiligung der Betroffenen an diesem Prozess;
(e) Bewertung und Vermeidung negativer Auswirkungen von KI-Systemen auf schutzbedürftige Personen oder Gruppen von schutzbedürftigen Personen, auch im Hinblick auf die Zugänglichkeit für Menschen mit Behinderungen, sowie auf die Gleichstellung der Geschlechter.
3. Verhaltenskodizes können von einzelnen Anbietern oder Anwendern von KI-Systemen oder von Organisationen, die diese vertreten, oder von beiden erstellt werden, auch unter Einbeziehung aller interessierten Kreise und der sie vertretenden Organisationen, einschließlich Organisationen der Zivilgesellschaft und der Wissenschaft. Die Verhaltenskodizes können für ein oder mehrere KI-Systeme gelten, wobei die Ähnlichkeit des Verwendungszwecks der betreffenden Systeme zu berücksichtigen ist.
4. Das AI-Büro und die Mitgliedstaaten tragen den besonderen Interessen und Bedürfnissen von KMU, einschließlich neu gegründeter Unternehmen, Rechnung, wenn sie die Ausarbeitung von Verhaltenskodizes fördern und erleichtern.
Quelle öffnen
Art. 96

Leitlinien der Kommission für die Durchführung dieser Verordnung

Verpflichtet die Kommission zu Leitlinien für die praktische Anwendung des AI Acts, u. a. zu Hochrisiko-Klassifikation, verbotenen Praktiken, Transparenzpflichten, GPAI, Sanktionen und Verhältnis zu anderem EU-Recht. Leitlinien sollen Beispiele liefern und regelmäßig aktualisiert werden.

Originaltext anzeigen
1. Die Kommission erarbeitet Leitlinien für die praktische Durchführung dieser Verordnung, insbesondere für:
(a) die Anwendung der in den
Artikeln 8
bis
15
und in
Artikel 25
genannten Anforderungen und Verpflichtungen;
(b) die in
Artikel 5
genannten verbotenen Praktiken;
(c) die praktische Umsetzung der Bestimmungen über wesentliche Änderungen;
(d) die praktische Umsetzung der in
Artikel 50
festgelegten Transparenzpflichten;
(e) ausführliche Informationen über das Verhältnis dieser Verordnung zu den in
Anhang I
aufgeführten Harmonisierungsrechtsvorschriften der Union sowie zu anderen einschlägigen Rechtsvorschriften der Union, auch im Hinblick auf die Kohärenz bei ihrer Durchsetzung;
(f) die Anwendung der Definition eines KI-Systems gemäß
Artikel 3
Nummer 1. Bei der Erstellung dieser Leitlinien berücksichtigt die Kommission insbesondere die Bedürfnisse von KMU, einschließlich Start-ups, von lokalen Behörden und von den Sektoren, die am ehesten von dieser Verordnung betroffen sein dürften. Die in Unterabsatz 1 des vorliegenden Absatzes genannten Leitlinien tragen dem allgemein anerkannten Stand der Technik im Bereich der künstlichen Intelligenz sowie den in den
Artikeln 40
und
41
genannten einschlägigen harmonisierten Normen und gemeinsamen Spezifikationen oder den harmonisierten Normen oder technischen Spezifikationen, die gemäß den Harmonisierungsrechtsvorschriften der Union festgelegt wurden, angemessen Rechnung.
2. Auf Antrag der Mitgliedstaaten oder des AI-Büros oder von sich aus aktualisiert die Kommission die zuvor angenommenen Leitlinien, wenn sie dies für erforderlich hält.
Quelle öffnen
Kapitel XI

Delegation und Ausschuss

Artikel 97-98 · 2 Abschnitt(e)

Art. 97

Ausübung der Befugnisse der Delegation

Regelt, wie die Kommission delegierte Rechtsakte erlassen darf, etwa zur Anpassung von Anhängen oder Schwellenwerten. Parlament und Rat können die Delegation widerrufen oder Einwände erheben; delegierte Akte treten nur unter diesen Bedingungen in Kraft.

Originaltext anzeigen
1. Die Befugnis zum Erlass delegierter Rechtsakte wird der Kommission unter den in diesem Artikel festgelegten Bedingungen übertragen.
2. Die Befugnis zum Erlass der in
Artikel 6
Absätze 6 und 7,
Artikel 7
Absätze 1 und 3,
Artikel 11
Absatz 3,
Artikel 43
Absätze 5 und 6,
Artikel 47
Absatz 5,
Artikel 51
Absatz 3,
Artikel 52
Absatz 4 und
Artikel 53
Absätze 5 und 6 genannten delegierten Rechtsakte wird der Kommission für einen Zeitraum von fünf Jahren ab dem 1. August 2024 übertragen. Die Kommission erstellt spätestens neun Monate vor Ablauf des Fünfjahreszeitraums einen Bericht über die Befugnisübertragungen. Die Befugnisübertragung verlängert sich stillschweigend um Zeiträume gleicher Länge, es sei denn, das Europäische Parlament oder der Rat lehnen eine solche Verlängerung spätestens drei Monate vor Ablauf des jeweiligen Zeitraums ab.
3. Die Befugnisübertragung gemäß
Artikel 6
Absätze 6 und 7,
Artikel 7
Absätze 1 und 3,
Artikel 11
Absatz 3,
Artikel 43
Absätze 5 und 6,
Artikel 47
Absatz 5,
Artikel 51
Absatz 3,
Artikel 52
Absatz 4 und
Artikel 53
Absätze 5 und 6 kann vom Europäischen Parlament oder vom Rat jederzeit widerrufen werden. Ein Beschluss über den Widerruf beendet die in diesem Beschluss angegebene Befugnisübertragung. Er wird am Tag nach seiner Veröffentlichung im Amtsblatt der Europäischen Union oder zu einem darin angegebenen späteren Zeitpunkt wirksam. Er berührt nicht die Gültigkeit von delegierten Rechtsakten, die bereits in Kraft sind.
4. Vor dem Erlass eines delegierten Rechtsakts konsultiert die Kommission die von den einzelnen Mitgliedstaaten benannten Sachverständigen im Einklang mit den Grundsätzen der Interinstitutionellen Vereinbarung vom 13. April 2016 über bessere Rechtsetzung.
5. Sobald die Kommission einen delegierten Rechtsakt erlässt, übermittelt sie ihn gleichzeitig dem Europäischen Parlament und dem Rat.
6. Jeder delegierte Rechtsakt, der gemäß
Artikel 6
Absatz 6 oder 7,
Artikel 7
Absatz 1 oder 3,
Artikel 11
Absatz 3,
Artikel 43
Absatz 5 oder 6,
Artikel 47
Absatz 5,
Artikel 51
Absatz 3,
Artikel 52
Absatz 4 oder
Artikel 53
Absatz 5 oder 6 treten nur in Kraft, wenn weder das Europäische Parlament noch der Rat innerhalb einer Frist von drei Monaten nach Übermittlung des Rechtsakts an das Europäische Parlament und den Rat Einwände erhoben haben oder wenn vor Ablauf dieser Frist sowohl das Europäische Parlament als auch der Rat der Kommission mitgeteilt haben, dass sie keine Einwände erheben werden. Diese Frist wird auf Initiative des Europäischen Parlaments oder des Rates um drei Monate verlängert.
Quelle öffnen
Art. 98

Ausschussverfahren

Regelt das Ausschussverfahren für Durchführungsrechtsakte. Die Kommission wird von einem Ausschuss nach den EU-Komitologie-Regeln unterstützt, wenn sie praktische Umsetzungsakte erlässt.

Originaltext anzeigen
1. Die Kommission wird von einem Ausschuss unterstützt. Dieser Ausschuss ist ein Ausschuss im Sinne der Verordnung (EU) Nr. 182/2011.
2. Wird auf diesen Absatz Bezug genommen, so gilt Artikel 5 der Verordnung (EU) Nr. 182/2011.
Quelle öffnen
Kapitel XII

Sanktionen

Artikel 99-101 · 3 Abschnitt(e)

Art. 99

Sanktionen

Regelt nationale Sanktionen und EU-weite Bußgeldobergrenzen: verbotene Praktiken bis 35 Mio. EUR oder 7 % weltweiter Jahresumsatz, andere zentrale Pflichten bis 15 Mio. EUR oder 3 %, falsche/unvollständige Informationen bis 7,5 Mio. EUR oder 1 %. Sanktionen müssen wirksam, verhältnismäßig und abschreckend sein; für KMU/Start-ups ist wirtschaftliche Tragfähigkeit zu berücksichtigen.

Originaltext anzeigen
1. Die Mitgliedstaaten legen nach Maßgabe dieser Verordnung die Regeln für Sanktionen und andere Durchsetzungsmaßnahmen, die auch Verwarnungen und nichtmonetäre Maßnahmen umfassen können, fest, die bei Verstößen von Marktteilnehmern gegen diese Verordnung anzuwenden sind, und ergreifen alle erforderlichen Maßnahmen, um deren ordnungsgemäße und wirksame Anwendung zu gewährleisten, wobei sie den von der Kommission gemäß
Artikel 96
herausgegebenen Leitlinien Rechnung tragen. Die vorgesehenen Sanktionen müssen wirksam, verhältnismäßig und abschreckend sein. Sie tragen den Interessen der KMU, einschließlich neu gegründeter Unternehmen, und ihrer wirtschaftlichen Lebensfähigkeit Rechnung.
2. Die Mitgliedstaaten teilen der Kommission unverzüglich, spätestens jedoch zum Zeitpunkt des Inkrafttretens, die in Absatz 1 genannten Sanktionsregelungen und sonstigen Durchsetzungsmaßnahmen mit und unterrichten sie unverzüglich über alle späteren Änderungen dieser Regelungen.
3. Die Nichteinhaltung des Verbots der in
Artikel 5
genannten AI-Praktiken wird mit einer Geldbuße von bis zu 35 000 000 EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, von bis zu 7 % seines gesamten weltweiten Jahresumsatzes im vorausgegangenen Geschäftsjahr belegt, je nachdem, welcher Betrag höher ist.
4. Die Nichteinhaltung einer der folgenden Bestimmungen für Akteur oder benannte Stellen, die nicht in
Artikel 5
festgelegt sind, wird mit Geldbußen bis zu 15 000 000 EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, bis zu 3 % seines gesamten weltweiten Jahresumsatzes im vorausgegangenen Geschäftsjahr geahndet, je nachdem, welcher Betrag höher ist:
(a) Verpflichtungen der Dienstleistungserbringer gemäß
Artikel 16
;
(b) die Pflichten der Bevollmächtigten gemäß
Artikel 22
;
(c) Verpflichtungen der Einführer gemäß
Artikel 23
;
(d) Verpflichtungen der Händler gemäß
Artikel 24
;
(e) Verpflichtungen der Verlegeunternehmen gemäß
Artikel 26
;
(f) Anforderungen und Pflichten der benannten Stellen gemäß
Artikel 31
,
Artikel 33
Absätze 1, 3 und 4 oder
Artikel 34
;
(g) Transparenzverpflichtungen für Anbieter und Betreiber gemäß
Artikel 50
.
5. Die Erteilung unrichtiger, unvollständiger oder irreführender Auskünfte an benannte Stellen oder zuständige nationale Behörden in Beantwortung eines Ersuchens wird mit einer Geldbuße bis zu 7 500 000 EUR oder, wenn es sich bei dem Zuwiderhandelnden um ein Unternehmen handelt, bis zu 1 % seines gesamten weltweiten Jahresumsatzes im vorausgegangenen Geschäftsjahr belegt, je nachdem, welcher Betrag höher ist.
6. Im Falle von KMU, einschließlich neu gegründeter Unternehmen, beträgt jede in diesem Artikel genannte Geldbuße bis zu den in den Absätzen 3, 4 und 5 genannten Prozentsätzen oder Beträgen, je nachdem, welcher Betrag niedriger ist.
7. Bei der Entscheidung über die Verhängung eines Bußgeldes und bei der Entscheidung über die Höhe des Bußgeldes in jedem Einzelfall sind alle relevanten Umstände der konkreten Situation zu berücksichtigen, wobei gegebenenfalls Folgendes zu berücksichtigen ist:
(a) Art, Schwere und Dauer des Verstoßes und seiner Folgen unter Berücksichtigung des Zwecks des AI-Systems sowie gegebenenfalls die Zahl der betroffenen Personen und die Höhe des von ihnen erlittenen Schadens;
(b) ob andere Marktüberwachungsbehörden gegen denselben Akteur wegen desselben Verstoßes bereits Geldbußen verhängt haben;
(c) ob gegen denselben Wirtschaftsbeteiligten bereits von anderen Behörden Geldbußen wegen Verstößen gegen andere Rechtsvorschriften der Union oder der Mitgliedstaaten verhängt wurden, wenn diese Verstöße auf dieselbe Tätigkeit oder Unterlassung zurückzuführen sind, die einen relevanten Verstoß gegen diese Verordnung darstellt;
(d) die Größe, den Jahresumsatz und den Marktanteil des Akteur, der den Verstoß begeht;
(e) sonstige erschwerende oder mildernde Umstände, die sich aus den Umständen des Falles ergeben, wie z. B. unmittelbar oder mittelbar durch den Verstoß erzielte finanzielle Vorteile oder vermiedene Verluste;
(f) das Ausmaß der Zusammenarbeit mit den zuständigen nationalen Behörden, um den Verstoß abzustellen und die möglichen nachteiligen Auswirkungen des Verstoßes abzumildern;
(g) den Grad der Verantwortung des Akteur unter Berücksichtigung der von ihm getroffenen technischen und organisatorischen Maßnahmen;
(h) die Art und Weise, wie der Verstoß den zuständigen nationalen Behörden bekannt wurde, insbesondere ob und in welchem Umfang der Akteur den Verstoß gemeldet hat;
(i) den vorsätzlichen oder fahrlässigen Charakter des Verstoßes;
(j) alle Maßnahmen, die der Akteur ergriffen hat, um den Schaden für die betroffenen Personen zu mindern.
8. Jeder Mitgliedstaat legt fest, inwieweit gegen Behörden und Einrichtungen mit Sitz in diesem Mitgliedstaat Geldbußen verhängt werden können.
9. Je nach der Rechtsordnung der Mitgliedstaaten können die Vorschriften über Geldbußen in der Weise angewandt werden, dass die Geldbußen von den zuständigen nationalen Gerichten oder von anderen Stellen verhängt werden, je nachdem, was in diesen Mitgliedstaaten gilt. Die Anwendung dieser Vorschriften in diesen Mitgliedstaaten hat eine gleichwertige Wirkung.
10. Die Ausübung der Befugnisse nach diesem Artikel unterliegt angemessenen Verfahrensgarantien im Einklang mit dem Unionsrecht und dem nationalen Recht, einschließlich wirksamer Rechtsbehelfe und ordnungsgemäßer Verfahren.
11. Die Mitgliedstaaten erstatten der Kommission jährlich Bericht über die von ihnen in dem betreffenden Jahr gemäß diesem Artikel verhängten Geldbußen sowie über alle damit zusammenhängenden Rechtsstreitigkeiten oder Gerichtsverfahren.
Quelle öffnen
Art. 100

Geldbußen gegen Organe, Einrichtungen, Ämter und Agenturen der Union

Regelt Bußgelder gegen EU-Organe, Einrichtungen und Agenturen. Der Europäische Datenschutzbeauftragte kann bei Verstößen je nach Pflichtverletzung Geldbußen bis zu 1,5 Mio. EUR verhängen; auch hier gelten Verhältnismäßigkeit, Schwere, Dauer und Kooperation.

Originaltext anzeigen
1. Der Europäische Datenschutzbeauftragte kann gegen Organe, Einrichtungen, Ämter und Agenturen der Union, die in den Anwendungsbereich dieser Verordnung fallen, Geldbußen verhängen. (2) Bei der Entscheidung, ob eine Geldbuße zu verhängen ist, und bei der Entscheidung über die Höhe der Geldbuße in jedem Einzelfall sind alle relevanten Umstände der jeweiligen Situation zu berücksichtigen, wobei Folgendes gebührend zu berücksichtigen ist:
(a) Art, Schwere und Dauer des Verstoßes und seiner Folgen unter Berücksichtigung des Zwecks des betreffenden AI-Systems sowie gegebenenfalls die Zahl der betroffenen Personen und die Höhe des von ihnen erlittenen Schadens;
(b) der Grad der Verantwortung des Organs, der Einrichtung, des Amtes oder der Agentur der Union unter Berücksichtigung der von ihnen durchgeführten technischen und organisatorischen Maßnahmen;
(c) alle Maßnahmen, die das Organ, die Einrichtung, das Amt oder die Agentur der Union ergriffen hat, um den von den betroffenen Personen erlittenen Schaden zu mindern;
(d) das Ausmaß der Zusammenarbeit mit dem Europäischen Datenschutzbeauftragten, um den Verstoß zu beheben und die möglichen nachteiligen Auswirkungen des Verstoßes abzumildern, einschließlich der Einhaltung aller Maßnahmen, die der Europäische Datenschutzbeauftragte zuvor gegen das betreffende Organ, die betreffende Einrichtung, das betreffende Amt oder die betreffende Agentur der Union in Bezug auf denselben Sachverhalt angeordnet hat;
(e) etwaige ähnliche frühere Verstöße des Organs, der Einrichtung, des Amtes oder der Agentur der Union;
(f) die Art und Weise, in der der Europäische Datenschutzbeauftragte von dem Verstoß Kenntnis erlangt hat, insbesondere ob und gegebenenfalls in welchem Umfang das Organ, die Einrichtung, das Amt oder die Agentur der Union den Verstoß gemeldet hat;
(g) den jährlichen Haushaltsplan des Organs, der Einrichtung, des Amtes oder der Agentur der Union.
2. Die Nichteinhaltung des Verbots der in
Artikel 5
genannten AI-Praktiken wird mit Geldbußen von bis zu 1 500 000 EUR geahndet.
3. Die Nichteinhaltung von Anforderungen oder Verpflichtungen im Rahmen dieser Verordnung durch das AI-System, die nicht in
Artikel 5
festgelegt sind, wird mit Geldbußen von bis zu 750 000 EUR geahndet.
4. Bevor der Europäische Datenschutzbeauftragte Entscheidungen nach diesem Artikel trifft, gibt er dem Organ, der Einrichtung, dem Amt oder der Agentur der Union, das bzw. die Gegenstand des vom Europäischen Datenschutzbeauftragten geführten Verfahrens ist, Gelegenheit, sich zu der Frage des möglichen Verstoßes zu äußern. Der Europäische Datenschutzbeauftragte stützt seine Entscheidungen nur auf Elemente und Umstände, zu denen die betroffenen Parteien Stellung nehmen konnten. Etwaige Beschwerdeführer werden eng in das Verfahren einbezogen.
5. Die Verteidigungsrechte der betroffenen Parteien werden in dem Verfahren in vollem Umfang gewahrt. Sie sind berechtigt, vorbehaltlich des berechtigten Interesses von Personen oder Unternehmen an der Wahrung ihrer personenbezogenen Daten oder Geschäftsgeheimnisse Einsicht in die Akte des Europäischen Datenschutzbeauftragten zu nehmen.
6. Die durch die Verhängung von Geldbußen nach diesem Artikel eingenommenen Mittel werden dem Gesamthaushaltsplan der Union zugeführt. Die Geldbußen beeinträchtigen nicht die tatsächliche Tätigkeit des Organs, der Einrichtung, des Amtes oder der Agentur der Union, gegen die eine Geldbuße verhängt wurde.
7. Der Europäische Datenschutzbeauftragte unterrichtet die Kommission jährlich über die von ihm gemäß diesem Artikel verhängten Geldbußen sowie über alle von ihm eingeleiteten Rechtsstreitigkeiten oder Gerichtsverfahren.
Quelle öffnen
Art. 101

Geldbußen für Anbieter von KI-Modellen für allgemeine Zwecke

Regelt Bußgelder gegen GPAI-Anbieter durch die Kommission: bis 15 Mio. EUR oder 3 % des weltweiten Jahresumsatzes bei Verstößen, falschen Informationen, Nichtbefolgung von Maßnahmen oder verweigertem Modellzugang für Evaluierungen. Anbieter müssen vorher angehört werden; der EuGH kann Entscheidungen voll überprüfen.

Originaltext anzeigen
1. Die Kommission kann gegen Anbieter von KI-Modellen für allgemeine Zwecke Geldbußen bis zu einem Höchstbetrag von 3 % ihres weltweiten Gesamtjahresumsatzes im vorangegangenen Geschäftsjahr oder 15 000 000 EUR verhängen, je nachdem, welcher Betrag höher ist, wenn die Kommission feststellt, dass der Anbieter vorsätzlich oder fahrlässig gehandelt hat:
(a) gegen die einschlägigen Bestimmungen dieser Verordnung verstoßen hat;
(b) einem Ersuchen um ein Schriftstück oder eine Auskunft nach
Artikel 91
nicht nachgekommen ist oder unrichtige, unvollständige oder entstellte Angaben gemacht hat;
(c) einer nach
Artikel 93
verlangten Maßnahme nicht nachgekommen ist;
(d) der Kommission keinen Zugang zu dem Allzweck-KI-Modell oder dem Allzweck-KI-Modell mit systemischem Risiko gewährt hat, um eine Bewertung gemäß
Artikel 92
durchzuführen.
Bei der Festsetzung der Höhe der Geldbuße oder der Zwangsgelder sind Art, Schwere und Dauer des Verstoßes unter gebührender Berücksichtigung der Grundsätze der Verhältnismäßigkeit und Angemessenheit zu berücksichtigen. Die Kommission berücksichtigt auch Verpflichtungen, die gemäß
Artikel 93
Absatz 3 oder in einschlägigen Verhaltenskodizes gemäß
Artikel 56
eingegangen wurden.
2. Bevor die Kommission die Entscheidung nach Absatz 1 trifft, teilt sie dem Anbieter des KI-Allzweckmodells ihre vorläufigen Feststellungen mit und gibt ihm Gelegenheit zur Anhörung.
3. Die nach diesem Artikel verhängten Geldbußen müssen wirksam, verhältnismäßig und abschreckend sein.
4. Informationen über gemäß diesem Artikel verhängte Geldbußen werden gegebenenfalls auch dem Verwaltungsrat mitgeteilt.
5. Der Gerichtshof der Europäischen Union hat die Befugnis zu unbeschränkter Nachprüfung von Entscheidungen der Kommission über die Festsetzung einer Geldbuße nach diesem Artikel. Er kann die verhängte Geldbuße aufheben, herabsetzen oder erhöhen.
6. Die Kommission erlässt Durchführungsrechtsakte mit detaillierten Regelungen und Verfahrensgarantien für Verfahren im Hinblick auf den möglichen Erlass von Beschlüssen gemäß Absatz 1 des vorliegenden Artikels. Diese Durchführungsrechtsakte werden gemäß dem in
Artikel 98
Absatz 2 genannten Prüfverfahren erlassen.
Quelle öffnen
Kapitel XIII

Schlussbestimmungen

Artikel 102-113 · 12 Abschnitt(e)

Art. 102

Änderung der Verordnung (EG) Nr. 300/2008

Ändert die Verordnung zur Zivilluftfahrtsicherheit, damit AI-Act-Anforderungen bei einschlägigen Luftsicherheitsprodukten und -systemen berücksichtigt werden können. Inhaltlich ist das eine Anschlussnorm an bestehendes Sektorrecht, keine eigenständige KI-Pflicht für normale Betreiber.

Originaltext anzeigen
In Artikel 4 Absatz 3 der Verordnung (EG) Nr. 300/2008 wird der folgende Unterabsatz angefügt:
Beim Erlass detaillierter Maßnahmen in Bezug auf technische Spezifikationen und Verfahren für die Zulassung und Verwendung von Sicherheitsausrüstung für Systeme der künstlichen Intelligenz im Sinne der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen zu berücksichtigen.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 103

Änderung der Verordnung (EU) Nr. 167/2013

Ändert die Verordnung für land- und forstwirtschaftliche Fahrzeuge. Relevante KI-Sicherheitsbauteile in diesem Produktbereich werden mit den AI-Act-Anforderungen verzahnt.

Originaltext anzeigen
In Artikel 17 Absatz 5 der Verordnung (EU) Nr. 167/2013 wird der folgende Unterabsatz angefügt:
Beim Erlass delegierter Rechtsakte gemäß Unterabsatz 1 zu Systemen der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 104

Änderung der Verordnung (EU) Nr. 168/2013

Ändert die Verordnung für zwei- oder dreirädrige und leichte vierrädrige Fahrzeuge. Ziel ist, KI-relevante Sicherheitsanforderungen in die bestehende Fahrzeugtypgenehmigung einzubinden.

Originaltext anzeigen
In Artikel 22 Absatz 5 der Verordnung (EU) Nr. 168/2013 wird der folgende Unterabsatz angefügt:
Beim Erlass delegierter Rechtsakte gemäß Unterabsatz 1 zu Systemen der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 105

Änderung der Richtlinie 2014/90/EU

Ändert die Richtlinie über Schiffsausrüstung. KI-Komponenten, die in diesen regulierten Bereich fallen, sollen im Zusammenspiel aus Sektorrecht und AI Act bewertet werden.

Originaltext anzeigen
In Artikel 8 der Richtlinie 2014/90/EU wird der folgende Absatz angefügt:
'5. (5) Bei Systemen der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) Nr. 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind, berücksichtigt die Kommission bei der Durchführung ihrer Tätigkeiten gemäß Absatz 1 und beim Erlass technischer Spezifikationen und Prüfnormen gemäß den Absätzen 2 und 3 die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 106

Änderung der Richtlinie (EU) 2016/797

Ändert die Eisenbahn-Interoperabilitätsrichtlinie. KI-Systeme bzw. KI-Sicherheitskomponenten in Bahn-/Interoperabilitätskontexten werden an AI-Act-Anforderungen angebunden.

Originaltext anzeigen
In Artikel 5 der Richtlinie (EU) 2016/797 wird der folgende Absatz angefügt:
'12. Beim Erlass von delegierten Rechtsakten gemäß Absatz 1 und von Durchführungsrechtsakten gemäß Absatz 11 zu Systemen der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 107

Änderung der Verordnung (EU) 2018/858

Ändert die Typgenehmigungs-Verordnung für Kraftfahrzeuge und Anhänger. KI-relevante Sicherheitsfunktionen werden über bestehende Genehmigungsprozesse mit dem AI Act verzahnt.

Originaltext anzeigen
In Artikel 5 der Verordnung (EU) 2018/858 wird der folgende Absatz angefügt:
'4. Beim Erlass delegierter Rechtsakte gemäß Absatz 3 über Systeme der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 108

Änderungen der Verordnung (EU) 2018/1139

Ändert die Luftfahrtgrundverordnung. KI in einschlägigen Luftfahrtprodukten, Teilen, Ausrüstungen oder Systemen wird in das bestehende Sicherheits- und Zertifizierungsregime integriert.

Originaltext anzeigen
Die Verordnung (EU) 2018/1139 wird wie folgt geändert:
(1) Dem Artikel 17 wird folgender Absatz angefügt:
'3. Unbeschadet des Absatzes 2 werden beim Erlass von Durchführungsrechtsakten gemäß Absatz 1 in Bezug auf Systeme der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind, die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
(2) Dem Artikel 19 wird folgender Absatz angefügt:
'4. Beim Erlass delegierter Rechtsakte gemäß den Absätzen 1 und 2 über Systeme der künstlichen Intelligenz, bei denen es sich um Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 handelt, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
(3) Dem Artikel 43 wird folgender Absatz angefügt:
'4. Beim Erlass von Durchführungsrechtsakten gemäß Absatz 1 in Bezug auf Systeme der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 sind, sind die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen zu berücksichtigen.
(4) Dem Artikel 47 wird folgender Absatz angefügt:
'3. Beim Erlass delegierter Rechtsakte gemäß den Absätzen 1 und 2 über Systeme der künstlichen Intelligenz, bei denen es sich um Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 handelt, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
(5) In Artikel 57 wird folgender Unterabsatz angefügt
Beim Erlass von Durchführungsrechtsakten für Systeme der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 sind, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
(6) Dem Artikel 58 wird folgender Absatz angefügt:
'3. Beim Erlass delegierter Rechtsakte gemäß den Absätzen 1 und 2 über Systeme der künstlichen Intelligenz, bei denen es sich um Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 handelt, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 109

Änderung der Verordnung (EU) 2019/2144

Ändert die Verordnung über allgemeine Fahrzeugsicherheit. KI-bezogene Fahrzeugfunktionen und Sicherheitskomponenten sollen im Rahmen der bestehenden Fahrzeugsicherheitsregeln AI-Act-konform behandelt werden.

Originaltext anzeigen
In Artikel 11 der Verordnung (EU) 2019/2144 wird der folgende Absatz angefügt:
'3. Beim Erlass der Durchführungsrechtsakte gemäß Absatz 2 in Bezug auf Systeme der künstlichen Intelligenz, die Sicherheitsbauteile im Sinne der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates
[*]
sind, werden die in Kapitel III Abschnitt 2 der genannten Verordnung festgelegten Anforderungen berücksichtigt.
[*] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften für künstliche Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689 vom 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
Quelle öffnen
Art. 110

Änderung der Richtlinie (EU) 2020/1828

Ändert die Verbandsklagen-Richtlinie, sodass AI-Act-Verstöße in den Anwendungsbereich kollektiver Verbraucherrechtsdurchsetzung aufgenommen werden können. Verbraucherorganisationen können damit bestimmte Verstöße kollektiv verfolgen.

Originaltext anzeigen
In Anhang I der Richtlinie (EU) 2020/1828 des Europäischen Parlaments und des Rates
[58
] wird der folgende Punkt hinzugefügt:
'(68) Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 mit harmonisierten Vorschriften zur künstlichen Intelligenz und zur Änderung der Verordnungen (EG) Nr. 300/2008, (EU) Nr. 167/2013, (EU) Nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 und (EU) 2019/2144 sowie der Richtlinien 2014/90/EU, (EU) 2016/797 und (EU) 2020/1828 (Gesetz über künstliche Intelligenz) (ABl. L, 2024/1689, 12.7.2024, ELI:
http://data.europa.eu/eli/reg/2024/1689/oj)
.
(58) Richtlinie (EU) 2020/1828 des Europäischen Parlaments und des Rates vom 25. November 2020 über Verbandsklagen zum Schutz der Kollektivinteressen der Verbraucher und zur Aufhebung der Richtlinie 2009/22/EG
(ABl. L 409 vom 4.12.2020, S. 1
).
Quelle öffnen
Art. 111

Bereits in Verkehr gebrachte oder in Betrieb genommene KI-Systeme und bereits in Verkehr gebrachte KI-Modelle für allgemeine Zwecke [sic]

Regelt Übergang für Bestandssysteme: Verbotene Praktiken gelten nach Artikel 113 trotzdem früh; bestimmte große IT-Systeme aus Anhang X müssen bis 31. Dezember 2030 angepasst werden. Andere Hochrisiko-Systeme, die vor 2. August 2026 in Verkehr oder Betrieb waren, fallen grundsätzlich erst bei wesentlicher Konstruktionsänderung voll hinein; Hochrisiko-Systeme von Behörden müssen bis 2. August 2030 nachziehen, GPAI-Modelle vor 2. August 2025 bis 2. August 2027.

Originaltext anzeigen
1. Unbeschadet der Anwendung von
Artikel 5
gemäß
Artikel 113
Absatz 3 Buchstabe a werden KI-Systeme, die Bestandteile der durch die in
Anhang X
aufgeführten Rechtsakte geschaffenen IT-Großsysteme sind und vor dem 2. August 2027 in Verkehr gebracht oder in Betrieb genommen wurden, bis zum 31. Dezember 2030 mit dieser Verordnung in Einklang gebracht. Die in dieser Verordnung festgelegten Anforderungen werden bei der Bewertung jedes IT-Großsystems, das durch die in
Anhang X
aufgeführten Rechtsakte errichtet wurde, berücksichtigt, die gemäß diesen Rechtsakten vorzunehmen ist, wenn diese Rechtsakte ersetzt oder geändert werden.
2. Unbeschadet der Anwendung von
Artikel 5
gemäß
Artikel 113
Absatz 3 Buchstabe a gilt diese Verordnung für Akteur von anderen als den in Absatz 1 des vorliegenden Artikels genannten KI-Systemen mit hohem Risiko, die vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden, nur dann, wenn an diesen Systemen ab diesem Zeitpunkt wesentliche Konstruktionsänderungen vorgenommen werden. In jedem Fall ergreifen die Anbieter und Aufsteller von KI-Systemen mit hohem Risiko, die von Behörden genutzt werden sollen, die erforderlichen Maßnahmen, um den Anforderungen und Verpflichtungen dieser Verordnung bis zum 2. August 2030 nachzukommen.
3. Anbieter von KI-Modellen für allgemeine Zwecke, die vor dem 2. August 2025 in Verkehr gebracht wurden, ergreifen die erforderlichen Maßnahmen, um den in dieser Verordnung festgelegten Verpflichtungen bis zum 2. August 2027 nachzukommen.
Quelle öffnen
Art. 112

Bewertung und Überprüfung

Verpflichtet die Kommission zur laufenden Überprüfung: jährlich zu Anhang III und verbotenen Praktiken, bis 2. August 2028 und danach alle vier Jahre zu Anhang III, Transparenzpflichten und Governance, bis 2. August 2029 und danach alle vier Jahre zur Gesamtverordnung. Dabei werden u. a. Behördenressourcen, Sanktionen, Normen, Energie-/Umweltaspekte, Grundrechteauswirkungen und möglicher Bedarf an einer EU-Agentur bewertet.

Originaltext anzeigen
1. Die Kommission prüft einmal jährlich nach Inkrafttreten dieser Verordnung und bis zum Ende des Zeitraums der Befugnisübertragung gemäß
Artikel 97
, ob die Liste in
Anhang III
und die Liste der verbotenen AI-Praktiken gemäß
Artikel 5
geändert werden müssen. Die Kommission legt die Ergebnisse dieser Bewertung dem Europäischen Parlament und dem Rat vor.
2. Bis zum 2. August 2028 und danach alle vier Jahre bewertet die Kommission Folgendes und erstattet dem Europäischen Parlament und dem Rat darüber Bericht:
(a) die Notwendigkeit von Änderungen zur Erweiterung bestehender oder Hinzufügung neuer Bereichsüberschriften in
Anhang III
;
(b) Änderungen an der Liste der KI-Systeme, die zusätzliche Transparenzmaßnahmen erfordern, in
Artikel 50
;
(c) Änderungen, die die Wirksamkeit des Aufsichts- und Verwaltungssystems verbessern.
3. Bis zum 2. August 2029 und danach alle vier Jahre legt die Kommission dem Europäischen Parlament und dem Rat einen Bericht über die Bewertung und Überprüfung dieser Verordnung vor. Der Bericht enthält eine Bewertung der Struktur der Durchsetzung und des möglichen Bedarfs an einer Unionsagentur zur Behebung festgestellter Mängel. Auf der Grundlage der Feststellungen wird dem Bericht gegebenenfalls ein Vorschlag zur Änderung dieser Verordnung beigefügt. Die Berichte werden veröffentlicht.
4. In den in Absatz 2 genannten Berichten wird insbesondere auf Folgendes eingegangen:
(a) den Stand der finanziellen, technischen und personellen Ressourcen der zuständigen nationalen Behörden, damit diese die ihnen im Rahmen dieser Verordnung übertragenen Aufgaben wirksam erfüllen können;
(b) die Höhe der von den Mitgliedstaaten bei Verstößen gegen diese Verordnung verhängten Sanktionen, insbesondere der in
Artikel 99
Absatz 1 genannten Geldbußen;
(c) harmonisierte Normen und gemeinsame Spezifikationen angenommen, die zur Unterstützung dieser Verordnung entwickelt wurden;
(d) die Zahl der Unternehmen, die nach Inkrafttreten dieser Verordnung in den Markt eintreten, und wie viele von ihnen KMU sind.
5. Bis zum 2. August 2028 bewertet die Kommission die Funktionsweise des AI-Büros und prüft, ob das AI-Büro mit ausreichenden Befugnissen und Zuständigkeiten ausgestattet wurde, um seine Aufgaben zu erfüllen, und ob es für die ordnungsgemäße Durchführung und Durchsetzung dieser Verordnung zweckmäßig und erforderlich wäre, das AI-Büro und seine Durchsetzungsbefugnisse zu verbessern und seine Ressourcen aufzustocken. Die Kommission legt dem Europäischen Parlament und dem Rat einen Bericht über ihre Bewertung vor.
6. Bis zum 2. August 2028 und danach alle vier Jahre legt die Kommission einen Bericht über die Überprüfung der Fortschritte bei der Entwicklung von Normungsergebnissen zur energieeffizienten Entwicklung von KI-Modellen für allgemeine Zwecke vor und bewertet den Bedarf an weiteren Maßnahmen oder Aktionen, einschließlich verbindlicher Maßnahmen oder Aktionen. Der Bericht wird dem Europäischen Parlament und dem Rat vorgelegt und veröffentlicht.
7. Bis zum 2. August 2028 und danach alle drei Jahre bewertet die Kommission die Auswirkungen und die Wirksamkeit freiwilliger Verhaltenskodizes, um die Anwendung der in
Kapitel III
Abschnitt 2 festgelegten Anforderungen für KI-Systeme, die keine Hochrisiko-KI-Systeme sind, und möglicherweise anderer zusätzlicher Anforderungen für KI-Systeme, die keine Hochrisiko-KI-Systeme sind, zu fördern, auch im Hinblick auf die ökologische Nachhaltigkeit.
8. Für die Zwecke der Absätze 1 bis 7 übermitteln der Ausschuss, die Mitgliedstaaten und die zuständigen nationalen Behörden der Kommission auf deren Ersuchen und ohne unnötige Verzögerung Informationen.
9. Bei der Durchführung der in den Absätzen 1 bis 7 genannten Bewertungen und Überprüfungen berücksichtigt die Kommission die Standpunkte und Feststellungen des Verwaltungsrats, des Europäischen Parlaments, des Rates und anderer einschlägiger Gremien oder Quellen.
10. Die Kommission legt erforderlichenfalls geeignete Vorschläge zur Änderung dieser Verordnung vor, insbesondere unter Berücksichtigung der technologischen Entwicklung, der Auswirkungen von KI-Systemen auf Gesundheit und Sicherheit sowie auf die Grundrechte und des Stands der Informationsgesellschaft.
11. Als Richtschnur für die in den Absätzen 1 bis 7 dieses Artikels genannten Bewertungen und Überprüfungen verpflichtet sich das AI-Büro, eine objektive und partizipative Methodik für die Bewertung der Risikostufen auf der Grundlage der in den einschlägigen Artikeln dargelegten Kriterien und die Einbeziehung neuer Systeme zu entwickeln:
(a) die Liste in
Anhang III
, einschließlich der Erweiterung bestehender oder der Hinzufügung neuer Bereichsüberschriften in diesem Anhang;
(b) die Liste der verbotenen Praktiken in
Artikel 5
; und
(c) die Liste der KI-Systeme, die zusätzliche Transparenzmaßnahmen gemäß
Artikel 50
erfordern.
12. Jede Änderung dieser Verordnung gemäß Absatz 10 oder einschlägiger delegierter Rechtsakte oder Durchführungsrechtsakte, die in
Anhang I
Abschnitt B aufgeführte sektorale Harmonisierungsrechtsvorschriften der Union betrifft, trägt den regulatorischen Besonderheiten jedes Sektors und den dort bestehenden Mechanismen und Behörden für Governance, Konformitätsbewertung und Durchsetzung Rechnung.
13. Bis zum 2. August 2031 nimmt die Kommission eine Bewertung der Durchsetzung dieser Verordnung vor und erstattet dem Europäischen Parlament, dem Rat und dem Europäischen Wirtschafts- und Sozialausschuss darüber Bericht, wobei sie die ersten Jahre der Anwendung dieser Verordnung berücksichtigt. Auf der Grundlage der Ergebnisse wird diesem Bericht gegebenenfalls ein Vorschlag zur Änderung dieser Verordnung im Hinblick auf die Struktur der Durchsetzung und die Notwendigkeit einer Agentur der Union zur Behebung der festgestellten Mängel beigefügt.
Quelle öffnen
Art. 113

Inkrafttreten und Anwendung

Regelt Inkrafttreten und gestaffelte Anwendung: Inkrafttreten 20 Tage nach Veröffentlichung, grundsätzliche Anwendung ab 2. August 2026. Kapitel I und II, also Grundlagen und Verbote, gelten ab 2. Februar 2025; Regeln zu notifizierenden Stellen, GPAI, Governance, Vertraulichkeit und Sanktionen außer Artikel 101 ab 2. August 2025; Artikel 6 Absatz 1 samt Pflichten ab 2. August 2027.

Originaltext anzeigen
Diese Verordnung tritt am zwanzigsten Tag nach ihrer Veröffentlichung im Amtsblatt der Europäischen Union in Kraft.
Sie gilt ab dem 2. August 2026.
Allerdings:
(a) Die Kapitel
I
und
II
gelten ab dem 2. Februar 2025;
(b)
Kapitel III Abschnitt 4
,
Kapitel V
,
Kapitel VII
und
Kapitel XII
sowie
Artikel 78
gelten ab dem 2. August 2025, mit Ausnahme von
Artikel 101
;
(c)
Artikel 6
Absatz 1 und die entsprechenden Verpflichtungen in dieser Verordnung gelten ab dem 2. August 2027.
Quelle öffnen
Anhänge

Technische Anhänge

Anhang I-XIII · 13 Abschnitt(e)

Anhang I

Liste der Harmonisierungsrechtsvorschriften der Union

Listet die EU-Produktrechtsakte, bei denen KI als Produkt oder Sicherheitsbauteil Hochrisiko auslösen kann, etwa Maschinen, Spielzeug, Funkanlagen, Medizinprodukte, In-vitro-Diagnostika, Fahrzeuge, Luftfahrt, Schiffsausrüstung und Eisenbahnsysteme. Wichtig ist die Verbindung zu Artikel 6 Absatz 1: Hochrisiko entsteht, wenn zusätzlich eine Dritt-Konformitätsbewertung erforderlich ist.

Originaltext anzeigen
Abschnitt A - Liste der Harmonisierungsrechtsvorschriften der Union auf der Grundlage des neuen Rechtsrahmens
1. Richtlinie 2006/42/EG des Europäischen Parlaments und des Rates vom 17. Mai 2006 über Maschinen und zur Änderung der Richtlinie 95/16/EG
(ABl. L 157 vom 9.6.2006, S. 24
);
2. Richtlinie 2009/48/EG des Europäischen Parlaments und des Rates vom 18. Juni 2009 über die Sicherheit von Spielzeug
(ABl. L 170 vom 30.6.2009, S. 1
);
3. Richtlinie 2013/53/EU des Europäischen Parlaments und des Rates vom 20. November 2013 über Sportboote und Wassermotorräder und zur Aufhebung der Richtlinie 94/25/EG
(ABl. L 354 vom 28.12.2013, S. 90
);
4. Richtlinie 2014/33/EU des Europäischen Parlaments und des Rates vom 26. Februar 2014 zur Harmonisierung der Rechtsvorschriften der Mitgliedstaaten über Aufzüge und Sicherheitsbauteile für Aufzüge
(ABl. L 96 vom 29.3.2014, S. 251
);
5. Richtlinie 2014/34/EU des Europäischen Parlaments und des Rates vom 26. Februar 2014 zur Harmonisierung der Rechtsvorschriften der Mitgliedstaaten für Geräte und Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen
(ABl. L 96 vom 29.3.2014, S. 309
);
6. Richtlinie 2014/53/EU des Europäischen Parlaments und des Rates vom 16. April 2014 zur Harmonisierung der Rechtsvorschriften der Mitgliedstaaten über die Bereitstellung von Funkanlagen auf dem Markt und zur Aufhebung der Richtlinie 1999/5/EG
(ABl. L 153 vom 22.5.2014, S. 62
);
7. Richtlinie 2014/68/EU des Europäischen Parlaments und des Rates vom 15. Mai 2014 zur Harmonisierung der Rechtsvorschriften der Mitgliedstaaten über die Bereitstellung von Druckgeräten auf dem Markt
(ABl. L 189 vom 27.6.2014, S. 164
);
8. Verordnung (EU) 2016/424 des Europäischen Parlaments und des Rates vom 9. März 2016 über Seilbahnen und zur Aufhebung der Richtlinie 2000/9/EG
(ABl. L 81 vom 31.3.2016, S. 1
);
9. Verordnung (EU) 2016/425 des Europäischen Parlaments und des Rates vom 9. März 2016 über persönliche Schutzausrüstung und zur Aufhebung der Richtlinie 89/686/EWG des Rates
(ABl. L 81 vom 31.3.2016, S. 51
);
10. Verordnung (EU) 2016/426 des Europäischen Parlaments und des Rates vom 9. März 2016 über Gasverbrauchseinrichtungen und zur Aufhebung der Richtlinie 2009/142/EG
(ABl. L 81 vom 31.3.2016, S. 99
);
11. Verordnung (EU) 2017/745 des Europäischen Parlaments und des Rates vom 5. April 2017 über Medizinprodukte, zur Änderung der Richtlinie 2001/83/EG, der Verordnung (EG) Nr. 178/2002 und der Verordnung (EG) Nr. 1223/2009 sowie zur Aufhebung der Richtlinien 90/385/EWG und 93/42/EWG des Rates
(ABl. L 117 vom 5.5.2017, S. 1
);
12. Verordnung (EU) 2017/746 des Europäischen Parlaments und des Rates vom 5. April 2017 über In-vitro-Diagnostika und zur Aufhebung der Richtlinie 98/79/EG und des Beschlusses 2010/227/EU der Kommission
(ABl. L 117 vom 5.5.2017, S. 176
).
und
Erwägungsgrund 51
Abschnitt B - Liste der sonstigen Harmonisierungsrechtsvorschriften der Union
13. Verordnung (EG) Nr. 300/2008 des Europäischen Parlaments und des Rates vom 11. März 2008 über gemeinsame Vorschriften für die Sicherheit in der Zivilluftfahrt und zur Aufhebung der Verordnung (EG) Nr. 2320/2002
(ABl. L 97 vom 9.4.2008, S. 72
);
14. Verordnung (EU) Nr. 168/2013 des Europäischen Parlaments und des Rates vom 15. Januar 2013 über die Genehmigung und Marktüberwachung von zweirädrigen oder dreirädrigen Kraftfahrzeugen und vierrädrigen Kraftfahrzeugen
(ABl. L 60 vom 2.3.2013, S. 52
);
15. Verordnung (EU) Nr. 167/2013 des Europäischen Parlaments und des Rates vom 5. Februar 2013 über die Genehmigung und Marktüberwachung von land- und forstwirtschaftlichen Fahrzeugen
(ABl. L 60 vom 2.3.2013, S. 1
);
16. Richtlinie 2014/90/EU des Europäischen Parlaments und des Rates vom 23. Juli 2014 über Schiffsausrüstung und zur Aufhebung der Richtlinie 96/98/EG des Rates
(ABl. L 257 vom 28.8.2014, S. 146
);
17. Richtlinie (EU) 2016/797 des Europäischen Parlaments und des Rates vom 11. Mai 2016 über die Interoperabilität des Eisenbahnsystems in der Europäischen Union
(ABl. L 138 vom 26.5.2016, S. 44
);
18. Verordnung (EU) 2018/858 des Europäischen Parlaments und des Rates vom 30. Mai 2018 über die Genehmigung und Marktüberwachung von Kraftfahrzeugen und Kraftfahrzeuganhängern sowie von Systemen, Bauteilen und selbstständigen technischen Einheiten für diese Fahrzeuge, zur Änderung der Verordnungen (EG) Nr. 715/2007 und (EG) Nr. 595/2009 und zur Aufhebung der Richtlinie 2007/46/EG
(ABl. L 151 vom 14.6.2018, S. 1
);
19. Verordnung (EU) 2019/2144 des Europäischen Parlaments und des Rates vom 27. November 2019 über die Typgenehmigung von Kraftfahrzeugen und Kraftfahrzeuganhängern sowie von Systemen, Bauteilen und selbstständigen technischen Einheiten für diese Fahrzeuge hinsichtlich ihrer allgemeinen Sicherheit und des Schutzes der Fahrzeuginsassen und gefährdeten Verkehrsteilnehmer, zur Änderung der Verordnung (EU) 2018/858 des Europäischen Parlaments und des Rates und zur Aufhebung der Verordnungen (EG) Nr. 78/2009, (EG) Nr. 79/2009 und (EG) Nr. 661/2009 des Europäischen Parlaments und des Rates sowie der Verordnungen der Kommission (EG) Nr. 631/2009, (EU) Nr. 406/2010, (EU) Nr. 672/2010, (EU) Nr. 1003/2010, (EU) Nr. 1005/2010, (EU) Nr. 1008/2010, (EU) Nr. 1009/2010, (EU) Nr. 19/2011, (EU) Nr. 109/2011, (EU) Nr. 458/2011, (EU) Nr. 65/2012, (EU) Nr. 130/2012, (EU) Nr. 347/2012, (EU) Nr. 351/2012, (EU) Nr. 1230/2012 und (EU) 2015/166
(ABl. L 325 vom 16.12.2019, p. 1
);
20. Verordnung (EU) 2018/1139 des Europäischen Parlaments und des Rates vom 4. Juli 2018 zur Festlegung gemeinsamer Vorschriften für die Zivilluftfahrt und zur Errichtung einer Agentur der Europäischen Union für Flugsicherheit, zur Änderung der Verordnungen (EG) Nr. 2111/2005, (EG) Nr. 1008/2008, (EU) Nr. 996/2010, (EU) Nr. 376/2014 und der Richtlinien 2014/30/EU und 2014/53/EU des Europäischen Parlaments und des Rates sowie zur Aufhebung der Verordnungen (EG) Nr. 552/2004 und (EG) Nr. 216/2008 des Europäischen Parlaments und des Rates und der Verordnung (EWG) Nr. 3922/91 des Rates
(ABl. L 212 vom 22.8.2018, S. 1
), soweit es sich um die Konstruktion, die Herstellung und das Inverkehrbringen von Luftfahrzeugen nach
Artikel 2
Absatz 1 Buchstaben a und b handelt, sofern es sich um unbemannte Luftfahrzeuge und ihre Triebwerke, Propeller, Teile und Ausrüstungen für ihre Fernsteuerung handelt.
Quelle öffnen
Anhang II

Liste der in Artikel 5 Absatz 1 Unterabsatz 1 Buchstabe h Ziffer iii genannten Straftaten

Listet schwere Straftaten, für deren Verfolgung bestimmte eng begrenzte Ausnahmen beim Verbot biometrischer Echtzeit-Fernidentifikation relevant sein können. Dazu gehören u. a. Terrorismus, Menschenhandel, sexülle Ausbeutung von Kindern, Mord, schwere Körperverletzung, Drogen-/Waffenhandel, Entführung, organisierte Kriminalität und Umweltkriminalität.

Originaltext anzeigen
Straftaten im Sinne von
Artikel 5
Absatz 1 Unterabsatz 1 Buchstabe h Ziffer iii:
- Terrorismus,
- Menschenhandel,
- sexuelle Ausbeutung von Kindern und Kinderpornografie,
- illegaler Handel mit Betäubungsmitteln oder psychotropen Stoffen,
- illegaler Handel mit Waffen, Munition oder Sprengstoffen,
- Mord, schwere Körperverletzung,
- illegaler Handel mit menschlichen Organen oder Geweben,
- illegaler Handel mit Kernmaterial oder radioaktiven Stoffen,
- Entführung, Freiheitsberaubung oder Geiselnahme
- Verbrechen, die in die Zuständigkeit des Internationalen Strafgerichtshofs fallen,
- unrechtmäßige Beschlagnahme von Luftfahrzeugen oder Schiffen,
- Vergewaltigung,
- Umweltkriminalität,
- organisierter oder bewaffneter Raubüberfall,
- Sabotage,
- Beteiligung an einer kriminellen Vereinigung, die an einer oder mehreren der oben genannten Straftaten beteiligt ist.
Quelle öffnen
Anhang III

In Artikel 6 Absatz 2 genannte AI-Systeme mit hohem Risiko

Definiert die wichtigsten Hochrisiko-Anwendungsbereiche nach Artikel 6 Absatz 2: Biometrie, kritische Infrastruktur, Bildung, Beschäftigung, Zugang zu wesentlichen privaten/öffentlichen Diensten, Strafverfolgung, Migration/Asyl/Grenzkontrolle sowie Justiz und demokratische Prozesse. Dieser Anhang ist praktisch die zentrale Checkliste für Hochrisiko-Klassifikation.

Originaltext anzeigen
AI-Systeme mit hohem Risiko im Sinne von
Artikel 6
Absatz 2 sind AI-Systeme, die in einem der folgenden Bereiche aufgeführt sind:
1. Biometrische Daten, soweit ihre Verwendung nach dem einschlägigen Unionsrecht oder dem nationalen Recht zulässig ist:
(a) Systeme zur biometrischen Fernidentifizierung. Dazu gehören keine KI-Systeme, die für die biometrische Überprüfung bestimmt sind und deren einziger Zweck darin besteht, zu bestätigen, dass eine bestimmte natürliche Person diejenige ist, die sie vorgibt zu sein;
(b) KI-Systeme, die für die biometrische Kategorisierung nach sensiblen oder geschützten Attributen oder Merkmalen auf der Grundlage der Rückschlüsse auf diese Attribute oder Merkmale verwendet werden sollen;
(c) KI-Systeme, die für die Erkennung von Emotionen eingesetzt werden sollen.
und
Erwägungsgrund 159
2. Kritische Infrastrukturen: KI-Systeme, die als Sicherheitskomponenten bei der Verwaltung und dem Betrieb kritischer digitaler Infrastrukturen, im Straßenverkehr oder bei der Versorgung mit Wasser, Gas, Wärme oder Strom eingesetzt werden sollen.
3. Allgemeine und berufliche Bildung:
(a) KI-Systeme, die dazu dienen, den Zugang oder die Zulassung zu Einrichtungen der allgemeinen und beruflichen Bildung auf allen Ebenen zu bestimmen oder natürliche Personen zuzuweisen;
(b) KI-Systeme, die zur Bewertung von Lernergebnissen eingesetzt werden sollen, auch wenn diese Ergebnisse zur Steuerung des Lernprozesses natürlicher Personen in Einrichtungen der allgemeinen und beruflichen Bildung auf allen Ebenen verwendet werden;
(c) KI-Systeme, die zur Bewertung des angemessenen Bildungsniveaus, das eine Person erhalten wird oder zu dem sie Zugang haben wird, im Rahmen von oder innerhalb von Einrichtungen der allgemeinen und beruflichen Bildung auf allen Ebenen eingesetzt werden sollen;
(d) KI-Systeme, die zur Überwachung und Erkennung von unzulässigem Verhalten von Schülern bei Prüfungen im Rahmen von oder in Einrichtungen der allgemeinen und beruflichen Bildung auf allen Ebenen eingesetzt werden sollen.
4. Beschäftigung, Arbeitnehmermanagement und Zugang zur Selbstständigkeit:
(a) KI-Systeme, die für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere zur Schaltung gezielter Stellenanzeigen, zur Analyse und Filterung von Bewerbungen und zur Bewertung von Bewerbern;
(b) KI-Systeme, die dazu bestimmt sind, Entscheidungen zu treffen, die sich auf die Bedingungen von Arbeitsverhältnissen, die Förderung oder Beendigung von Arbeitsvertragsverhältnissen auswirken, Aufgaben auf der Grundlage von individuellem Verhalten oder persönlichen Eigenschaften oder Merkmalen zuzuweisen oder die Leistung und das Verhalten von Personen in solchen Verhältnissen zu überwachen und zu bewerten.
5. Zugang zu und Inanspruchnahme von wesentlichen privaten Dienstleistungen und wesentlichen öffentlichen Diensten und Leistungen:
(a) KI-Systeme, die dazu bestimmt sind, von Behörden oder im Namen von Behörden verwendet zu werden, um die Anspruchsberechtigung natürlicher Personen auf wesentliche öffentliche Unterstützungsleistungen und -dienste, einschließlich Gesundheitsdienstleistungen, zu bewerten und solche Leistungen und Dienste zu gewähren, zu kürzen, zu widerrufen oder zurückzufordern;
(b) KI-Systeme, die dazu bestimmt sind, die Kreditwürdigkeit natürlicher Personen zu bewerten oder ihre Kreditwürdigkeit zu ermitteln, mit Ausnahme von KI-Systemen, die zur Aufdeckung von Finanzbetrug eingesetzt werden;
(c) KI-Systeme, die für die Risikobewertung und Preisgestaltung in Bezug auf natürliche Personen im Falle von Lebens- und Krankenversicherungen verwendet werden sollen;
(d) KI-Systeme, die dazu bestimmt sind, Notrufe natürlicher Personen auszuwerten und zu klassifizieren oder zur Disposition oder zur Festlegung von Prioritäten bei der Disposition von Notdiensten, einschließlich Polizei, Feuerwehr und medizinischer Hilfe, sowie von Triage-Systemen für Notfallpatienten verwendet werden.
6. Strafverfolgung, soweit ihre Verwendung nach dem einschlägigen Unionsrecht oder dem nationalen Recht zulässig ist:
(a) KI-Systeme, die dazu bestimmt sind, von oder im Namen von Strafverfolgungsbehörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union zur Unterstützung von Strafverfolgungsbehörden oder in deren Namen verwendet zu werden, um das Risiko zu bewerten, dass eine natürliche Person Opfer einer Straftat wird;
(b) KI-Systeme, die dazu bestimmt sind, von oder im Namen von Strafverfolgungsbehörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union zur Unterstützung von Strafverfolgungsbehörden als Lügendetektoren oder ähnliche Instrumente verwendet zu werden;
(c) KI-Systeme, die dazu bestimmt sind, von oder im Namen von Strafverfolgungsbehörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union zur Unterstützung von Strafverfolgungsbehörden verwendet zu werden, um die Verlässlichkeit von Beweismitteln im Rahmen der Ermittlung oder Verfolgung von Straftaten zu bewerten;
(d) KI-Systeme, die dazu bestimmt sind, von Strafverfolgungsbehörden oder in deren Auftrag oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union zur Unterstützung von Strafverfolgungsbehörden verwendet zu werden, um das Risiko einer natürlichen Person, straffällig zu werden oder erneut straffällig zu werden, nicht ausschließlich auf der Grundlage der Erstellung von Profilen natürlicher Personen gemäß Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680 zu bewerten, oder um Persönlichkeitsmerkmale und Eigenschaften oder frühere kriminelle Verhaltensweisen natürlicher Personen oder Gruppen zu bewerten;
(e) KI-Systeme, die von oder im Namen von Strafverfolgungsbehörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union zur Unterstützung von Strafverfolgungsbehörden für die Erstellung von Profilen natürlicher Personen gemäß Artikel 3 Absatz 4 der Richtlinie (EU) 2016/680 im Rahmen der Aufdeckung, Untersuchung oder Verfolgung von Straftaten verwendet werden sollen.
7. Migrations-, Asyl- und Grenzkontrollmanagement, soweit deren Einsatz nach dem einschlägigen Unionsrecht oder nationalen Recht zulässig ist:
(a) KI-Systeme, die dazu bestimmt sind, von oder im Namen von zuständigen Behörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union als Lügendetektoren oder ähnliche Instrumente verwendet zu werden;
(b) KI-Systeme, die dazu bestimmt sind, von oder im Namen von zuständigen Behörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union verwendet zu werden, um ein Risiko, einschließlich eines Sicherheitsrisikos, eines Risikos der irregulären Migration oder eines Gesundheitsrisikos, zu bewerten, das von einer natürlichen Person ausgeht, die in das Hoheitsgebiet eines Mitgliedstaats einzureisen beabsichtigt oder eingereist ist;
(c) KI-Systeme, die dazu bestimmt sind, von oder im Namen von zuständigen Behörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union verwendet zu werden, um die zuständigen Behörden bei der Prüfung von Anträgen auf Asyl, Visa oder Aufenthaltstitel und bei damit zusammenhängenden Beschwerden in Bezug auf die Berechtigung der natürlichen Personen, die einen Status beantragen, zu unterstützen, einschließlich der damit zusammenhängenden Bewertung der Zuverlässigkeit von Beweismitteln;
(d) KI-Systeme, die dazu bestimmt sind, von oder im Namen von zuständigen Behörden oder von Organen, Einrichtungen, Ämtern oder Agenturen der Union im Rahmen des Migrations-, Asyl- oder Grenzkontrollmanagements zum Aufspüren, Erkennen oder Identifizieren natürlicher Personen verwendet zu werden, mit Ausnahme der Überprüfung von Reisedokumenten.
8. Rechtspflege und demokratische Prozesse:
(a) KI-Systeme, die dazu bestimmt sind, von einer Justizbehörde oder in deren Auftrag eingesetzt zu werden, um eine Justizbehörde bei der Erforschung und Auslegung von Tatsachen und Recht und bei der Anwendung des Rechts auf einen konkreten Sachverhalt zu unterstützen, oder die in ähnlicher Weise bei der alternativen Streitbeilegung eingesetzt werden sollen;
verwandt:
Erwägungsgrund 61
(b) KI-Systeme, die zur Beeinflussung des Ergebnisses einer Wahl oder eines Referendums oder des Abstimmungsverhaltens natürlicher Personen bei der Ausübung ihres Stimmrechts bei Wahlen oder Referenden eingesetzt werden sollen. Dies gilt nicht für KI-Systeme, deren Ergebnisse natürlichen Personen nicht direkt zugänglich sind, wie z. B. Werkzeuge zur Organisation, Optimierung oder Strukturierung politischer Kampagnen unter administrativen oder logistischen Gesichtspunkten.
Quelle öffnen
Anhang IV

Technische Unterlagen gemäß Artikel 11 Absatz 1

Legt die Mindestinhalte der technischen Dokumentation für Hochrisiko-KI fest: allgemeine Systembeschreibung, Zweck, Anbieterangaben, Versionen, Architektur, Daten, Training, Validierung, Tests, Leistungsmetriken, Risiken, menschliche Aufsicht, Cybersecurity, Normen, Konformitätserklärung und Post-Market-Monitoring. Er ist die konkrete Vorlage für Artikel 11.

Originaltext anzeigen
Die in
Artikel 11
Absatz 1 genannten technischen Unterlagen müssen mindestens die folgenden Informationen enthalten, die für das betreffende AI-System gelten:
1. Eine allgemeine Beschreibung des KI-Systems einschließlich:
(a) den Verwendungszweck, den Namen des Anbieters und die Version des Systems unter Angabe des Verhältnisses zu früheren Versionen;
(b) die Art und Weise, wie das KI-System mit Hard- oder Software, gegebenenfalls auch mit anderen KI-Systemen, die nicht Teil des KI-Systems selbst sind, interagiert oder interagiert werden kann;
(c) die Versionen der einschlägigen Software oder Firmware und alle Anforderungen in Bezug auf Versionsaktualisierungen;
(d) die Beschreibung aller Formen, in denen das KI-System in Verkehr gebracht oder in Betrieb genommen wird, wie in Hardware eingebettete Softwarepakete, Downloads oder APIs;
(e) die Beschreibung der Hardware, auf der das KI-System laufen soll;
(f) wenn das KI-System ein Bestandteil von Produkten ist, Fotografien oder Abbildungen, die die äußeren Merkmale, die Kennzeichnung und die innere Gestaltung dieser Produkte zeigen;
(g) eine grundlegende Beschreibung der dem Verteiler zur Verfügung gestellten Benutzerschnittstelle;
(h) eine Gebrauchsanweisung für den Verteiler und gegebenenfalls eine grundlegende Beschreibung der dem Verteiler zur Verfügung gestellten Benutzerschnittstelle;
2. Eine detaillierte Beschreibung der Elemente des KI-Systems und des Prozesses seiner Entwicklung, einschließlich:
(a) die Methoden und Schritte, die zur Entwicklung des KI-Systems durchgeführt wurden, gegebenenfalls einschließlich des Rückgriffs auf bereits trainierte Systeme oder Werkzeuge, die von Dritten zur Verfügung gestellt wurden, sowie die Art und Weise, wie diese vom Anbieter verwendet, integriert oder geändert wurden;
(b) die Entwurfsspezifikationen des Systems, d. h. die allgemeine Logik des KI-Systems und der Algorithmen; die wichtigsten Entwurfsentscheidungen einschließlich der Begründung und der getroffenen Annahmen, auch in Bezug auf Personen oder Personengruppen, für die das System verwendet werden soll; die wichtigsten Klassifizierungsentscheidungen; die Frage, wofür das System optimiert werden soll, und die Relevanz der verschiedenen Parameter; die Beschreibung des erwarteten Outputs und der Qualität des Outputs des Systems; die Entscheidungen über etwaige Kompromisse bei den technischen Lösungen, die zur Erfüllung der in
Kapitel III
Abschnitt 2 genannten Anforderungen getroffen wurden;
(c) eine Beschreibung der Systemarchitektur, aus der hervorgeht, wie die Softwarekomponenten aufeinander aufbauen oder ineinandergreifen und in die Gesamtverarbeitung integriert sind; die für die Entwicklung, das Training, den Test und die Validierung des KI-Systems verwendeten Rechenressourcen;
(d) gegebenenfalls die Datenanforderungen in Form von Datenblättern, in denen die Trainingsmethoden und -techniken und die verwendeten Trainingsdatensätze beschrieben werden, einschließlich einer allgemeinen Beschreibung dieser Datensätze, Informationen über ihre Herkunft, ihren Umfang und ihre Hauptmerkmale; wie die Daten gewonnen und ausgewählt wurden; Etikettierungsverfahren (z. B. für überwachtes Lernen), Datenbereinigungsverfahren (z. B. Erkennung von Ausreißern);
(e) Bewertung der gemäß
Artikel 14
erforderlichen menschlichen Aufsichtsmaßnahmen, einschließlich einer Bewertung der technischen Maßnahmen, die erforderlich sind, um die Interpretation der Ergebnisse von KI-Systemen durch die Einsatzkräfte gemäß
Artikel 13
Absatz 3 Buchstabe d zu erleichtern;
(f) gegebenenfalls eine ausführliche Beschreibung der im Voraus festgelegten Änderungen am AI-System und seiner Leistung, zusammen mit allen einschlägigen Informationen zu den technischen Lösungen, die zur Gewährleistung der ständigen Übereinstimmung des AI-Systems mit den in
Kapitel III
Abschnitt 2 festgelegten einschlägigen Anforderungen gewählt wurden;
(g) die verwendeten Validierungs- und Testverfahren, einschließlich Informationen über die verwendeten Validierungs- und Testdaten und ihre wichtigsten Merkmale; Messgrößen zur Messung der Genauigkeit, Robustheit und Einhaltung anderer einschlägiger Anforderungen gemäß
Kapitel III
Abschnitt 2 sowie potenziell diskriminierende Auswirkungen; Testprotokolle und alle von den verantwortlichen Personen datierten und unterzeichneten Testberichte, auch im Hinblick auf vorher festgelegte Änderungen gemäß Buchstabe f;
(h) eingeführte Cybersicherheitsmaßnahmen;
3. Detaillierte Informationen über die Überwachung, Funktionsweise und Kontrolle des KI-Systems, insbesondere in Bezug auf: seine Fähigkeiten und Leistungsgrenzen, einschließlich der Genauigkeitsgrade für bestimmte Personen oder Personengruppen, bei denen das System eingesetzt werden soll, und des insgesamt erwarteten Genauigkeitsniveaus in Bezug auf seinen beabsichtigten Zweck; die vorhersehbaren unbeabsichtigten Ergebnisse und Quellen von Risiken für Gesundheit und Sicherheit, Grundrechte und Diskriminierung im Hinblick auf den beabsichtigten Zweck des KI-Systems; die gemäß
Artikel 14
erforderlichen menschlichen Aufsichtsmaßnahmen, einschließlich der technischen Maßnahmen, die zur Erleichterung der Interpretation der Ergebnisse von KI-Systemen durch die Anwender getroffen werden; gegebenenfalls Spezifikationen für Eingabedaten;
4. Eine Beschreibung der Angemessenheit der Leistungsmetriken für das spezifische KI-System;
5. Eine ausführliche Beschreibung des Risikomanagementsystems gemäß
Artikel 9
;
6. Beschreibung der relevanten Änderungen, die der Anbieter im Laufe des Lebenszyklus des Systems vorgenommen hat;
7. Liste der ganz oder teilweise angewandten harmonisierten Normen, deren Fundstellen im Amtsblatt der Europäischen Union veröffentlicht worden sind; falls keine harmonisierten Normen angewandt wurden, ausführliche Beschreibung der zur Erfüllung der Anforderungen in
Kapitel III
Abschnitt 2 gewählten Lösungen, einschließlich einer Aufstellung der sonstigen angewandten einschlägigen Normen und technischen Spezifikationen;
8. Eine Kopie der EU-Konformitätserklärung gemäß
Artikel 47
;
9. Ausführliche Beschreibung des Systems zur Bewertung der Leistung des AI-Systems in der Phase nach dem Inverkehrbringen gemäß
Artikel 72
, einschließlich des in
Artikel 72
Absatz 3 genannten Überwachungsplans nach dem Inverkehrbringen.
Quelle öffnen
Anhang V

EU-Konformitätserklärung

Legt den Mindestinhalt der EU-Konformitätserklärung fest, u. a. Systemidentifikation, Anbietername, Verantwortlichkeitserklärung, Konformitätsbezug, angewandte Normen/Spezifikationen, ggf. benannte Stelle, Ort, Datum und Unterschrift. Diese Erklärung ist der formale Compliance-Nachweis für Hochrisiko-KI.

Originaltext anzeigen
Die EU-Konformitätserklärung gemäß
Artikel 47
muss alle folgenden Angaben enthalten:
1. Name und Typ des KI-Systems sowie jede weitere eindeutige Angabe, die die Identifizierung und Rückverfolgbarkeit des KI-Systems ermöglicht;
2. Name und Anschrift des Dienstleistungserbringers oder ggf. seines Bevollmächtigten;
3. Eine Erklärung, dass die EU-Konformitätserklärung gemäß
Artikel 47
unter der alleinigen Verantwortung des Anbieters ausgestellt wird;
4. Eine Erklärung, dass das AI-System mit dieser Verordnung und gegebenenfalls mit anderen einschlägigen Rechtsvorschriften der Union, die die Ausstellung der EU-Konformitätserklärung gemäß
Artikel 47
vorsehen, konform ist;
5. Wenn ein KI-System die Verarbeitung personenbezogener Daten beinhaltet, eine Erklärung, dass dieses KI-System mit den Verordnungen (EU) 2016/679 und (EU) 2018/1725 sowie der Richtlinie (EU) 2016/680 im Einklang steht;
6. Verweise auf einschlägige harmonisierte Normen oder andere gemeinsame Spezifikationen, für die die Konformität erklärt wird;
7. Gegebenenfalls Name und Kennnummer der benannten Stelle, eine Beschreibung des durchgeführten Konformitätsbewertungsverfahrens und die Bezeichnung der ausgestellten Bescheinigung;
8. Ort und Datum der Ausstellung der Erklärung, Name und Funktion der Person, die die Erklärung unterzeichnet hat, sowie die Angabe, für wen oder in wessen Namen diese Person unterzeichnet hat, eine Unterschrift.
Quelle öffnen
Anhang VI

Konformitätsbewertungsverfahren auf der Grundlage der internen Kontrolle

Beschreibt die interne Kontrolle als Konformitätsbewertungsverfahren. Der Anbieter prüft selbst, ob Qualitätsmanagement, technische Dokumentation und Systemanforderungen erfüllt sind und ob Entwicklung sowie Post-Market-Monitoring mit der Dokumentation übereinstimmen.

Originaltext anzeigen
1. Das Konformitätsbewertungsverfahren auf der Grundlage der internen Kontrolle ist das Konformitätsbewertungsverfahren auf der Grundlage der Nummern 2, 3 und 4.
2. Der Anbieter prüft, ob das eingerichtete Qualitätsmanagementsystem den Anforderungen von
Artikel 17
entspricht.
3. Der Anbieter prüft die in den technischen Unterlagen enthaltenen Informationen, um die Übereinstimmung des KI-Systems mit den einschlägigen grundlegenden Anforderungen in
Kapitel III
Abschnitt 2 zu bewerten.
4. Der Anbieter prüft auch, ob der Entwurfs- und Entwicklungsprozess des KI-Systems und seine Überwachung nach dem Inverkehrbringen gemäß
Artikel 72
mit der technischen Dokumentation übereinstimmt
Quelle öffnen
Anhang VII

Konformität auf der Grundlage einer Bewertung des Qualitätsmanagementsystems und einer Bewertung der technischen Dokumentation

Beschreibt die Konformitätsbewertung mit benannter Stelle: Prüfung des Qualitätsmanagementsystems, Bewertung technischer Unterlagen, ggf. Zugang zu Daten, Modellen oder Tests, Ausstellung oder Verweigerung von EU-Bescheinigungen, Bewertung wesentlicher Änderungen und laufende Überwachung durch Audits.

Originaltext anzeigen
1. Einleitung
Die Konformität auf der Grundlage einer Bewertung des Qualitätsmanagementsystems und einer Bewertung der technischen Unterlagen ist das Konformitätsbewertungsverfahren auf der Grundlage der Nummern 2 bis 5.
2. Übersicht
Das genehmigte Qualitätsmanagementsystem für den Entwurf, die Entwicklung und die Prüfung von AI-Systemen gemäß
Artikel 17
wird gemäß Nummer 3 geprüft und unterliegt der Überwachung gemäß Nummer 5. Die technischen Unterlagen des AI-Systems werden gemäß Nummer 4 geprüft.
3. Qualitätsmanagementsystem
3.1. Der Antrag des Anbieters muss Folgendes enthalten:
(a) Name und Anschrift des Dienstleistungserbringers und, falls der Antrag von einem Bevollmächtigten eingereicht wird, auch dessen Name und Anschrift;
(b) die Liste der unter dasselbe Qualitätsmanagementsystem fallenden AI-Systeme;
(c) die technischen Unterlagen für jedes KI-System, das unter dasselbe Qualitätsmanagementsystem fällt;
(d) die Unterlagen über das Qualitätssicherungssystem, die alle in
Artikel 17
aufgeführten Aspekte abdecken müssen;
(e) eine Beschreibung der Verfahren, mit denen sichergestellt wird, dass das Qualitätsmanagementsystem angemessen und wirksam bleibt;
(f) eine schriftliche Erklärung, dass derselbe Antrag bei keiner anderen benannten Stelle eingereicht worden ist.
3.2. Das Qualitätsmanagementsystem wird von der benannten Stelle bewertet, die feststellt, ob es die in
Artikel 17
genannten Anforderungen erfüllt. Die Entscheidung wird dem Dienstleistungserbringer oder seinem Bevollmächtigten mitgeteilt. Die Mitteilung enthält die Schlussfolgerungen aus der Bewertung des Qualitätsmanagementsystems und die Begründung der Bewertungsentscheidung.
3.3. Das Qualitätsmanagementsystem in seiner genehmigten Form ist vom Dienstleistungserbringer weiterhin umzusetzen und aufrechtzuerhalten, damit es angemessen und effizient bleibt.
3.4. Jede beabsichtigte Änderung des zugelassenen Qualitätssicherungssystems oder des Verzeichnisses der unter dieses System fallenden AI-Systeme ist der benannten Stelle vom Anbieter mitzuteilen. Die benannte Stelle prüft die geplanten Änderungen und entscheidet, ob das geänderte Qualitätssicherungssystem weiterhin die in Nummer 3.2 genannten Anforderungen erfüllt oder ob eine erneute Bewertung erforderlich ist. Die benannte Stelle teilt dem Anbieter ihre Entscheidung mit. Die Mitteilung enthält die Ergebnisse der Prüfung der Änderungen und die begründete Entscheidung über die Bewertung.
4. Kontrolle der technischen Dokumentation.
4.1. Zusätzlich zu dem Antrag gemäß Nummer 3 stellt der Anbieter bei einer benannten Stelle seiner Wahl einen Antrag auf Bewertung der technischen Unterlagen für das KI-System, das er in Verkehr bringen oder in Betrieb nehmen will und das unter das Qualitätsmanagementsystem gemäß Nummer 3 fällt.
4.2. Der Antrag muss Folgendes enthalten:
(a) den Namen und die Anschrift des Anbieters;
(b) eine schriftliche Erklärung, dass derselbe Antrag bei keiner anderen benannten Stelle eingereicht worden ist;
(c) die in
Anhang IV
genannten technischen Unterlagen.
4.3. Die technische Dokumentation ist von der benannten Stelle zu prüfen. Gegebenenfalls wird der benannten Stelle, beschränkt auf das zur Erfüllung ihrer Aufgaben erforderliche Maß, uneingeschränkter Zugang zu den verwendeten Schulungs-, Validierungs- und Testdatensätzen gewährt, gegebenenfalls und vorbehaltlich von Sicherheitsvorkehrungen auch über API oder andere einschlägige technische Mittel und Werkzeuge, die einen Fernzugriff ermöglichen.
4.4. Bei der Prüfung der technischen Unterlagen kann die benannte Stelle verlangen, dass der Anbieter weitere Nachweise vorlegt oder weitere Prüfungen durchführt, damit die Konformität des AI-Systems mit den Anforderungen in
Kapitel III
Abschnitt 2 ordnungsgemäß bewertet werden kann. Ist die benannte Stelle mit den vom Leistungserbringer durchgeführten Prüfungen nicht zufrieden, so führt sie gegebenenfalls selbst unmittelbar angemessene Prüfungen durch.
4.5. Sofern dies zur Bewertung der Konformität des Hochrisiko-KI-Systems mit den Anforderungen gemäß
Kapitel III
Abschnitt 2 erforderlich ist, wird der benannten Stelle, nachdem alle anderen angemessenen Mittel zur Überprüfung der Konformität ausgeschöpft wurden und sich als unzureichend erwiesen haben, auf begründeten Antrag auch Zugang zu den Schulungs- und Trainingsmodellen des KI-Systems, einschließlich seiner relevanten Parameter, gewährt. Dieser Zugang unterliegt dem geltenden Unionsrecht zum Schutz des geistigen Eigentums und von Geschäftsgeheimnissen.
4.6. Die Entscheidung der benannten Stelle wird dem Dienstleistungserbringer oder seinem Bevollmächtigten mitgeteilt. Die Notifizierung enthält die Schlussfolgerungen aus der Bewertung der technischen Unterlagen und die Begründung der Bewertungsentscheidung. Entspricht das AI-System den Anforderungen von
Kapitel III
Abschnitt 2, so stellt die benannte Stelle eine Unionsbescheinigung über die Bewertung der technischen Dokumentation aus. Diese Bescheinigung enthält den Namen und die Anschrift des Anbieters, die Ergebnisse der Prüfung, etwaige Bedingungen für die Gültigkeit der Bescheinigung und die für die Identifizierung des KI-Systems erforderlichen Angaben. Die Bescheinigung und ihre Anhänge enthalten alle zweckdienlichen Angaben, anhand deren sich die Konformität des AI-Systems beurteilen lässt und die gegebenenfalls eine Kontrolle des AI-Systems während des Betriebs ermöglichen. Entspricht das AI-System nicht den Anforderungen von
Kapitel III
Abschnitt 2, verweigert die notifizierte Stelle die Ausstellung einer Unionsbescheinigung für die Bewertung der technischen Dokumentation und unterrichtet den Antragsteller darüber, wobei sie ihre Weigerung ausführlich begründet. Erfüllt das KI-System die Anforderungen in Bezug auf die für seine Schulung verwendeten Daten nicht, muss das KI-System vor der Beantragung einer neuen Konformitätsbewertung neu geschult werden. In diesem Fall enthält die begründete Bewertungsentscheidung der notifizierten Stelle, mit der die Ausstellung der Unionsbescheinigung für die Bewertung der technischen Dokumentation verweigert wird, besondere Erwägungen zu den Qualitätsdaten, die für die Schulung des KI-Systems verwendet wurden, insbesondere zu den Gründen für die Nichtkonformität.
4.7. Jede Änderung am AI-System, die die Konformität des AI-Systems mit den Anforderungen oder seiner Zweckbestimmung beeinträchtigen könnte, wird von der notifizierten Stelle bewertet, die die Unionsbescheinigung über die Bewertung der technischen Unterlagen ausgestellt hat. Der Anbieter unterrichtet diese notifizierte Stelle, wenn er beabsichtigt, eine der oben genannten Änderungen vorzunehmen, oder wenn er anderweitig Kenntnis von solchen Änderungen erhält. Die benannte Stelle prüft die geplanten Änderungen und entscheidet, ob diese Änderungen eine neue Konformitätsbewertung gemäß
Artikel 43
Absatz 4 erfordern oder ob sie durch einen Nachtrag zur Unionsbescheinigung über die Bewertung der technischen Dokumentation berücksichtigt werden können. Im letzteren Fall bewertet die notifizierte Stelle die Änderungen, teilt dem Anbieter ihre Entscheidung mit und stellt ihm, falls die Änderungen genehmigt werden, einen Nachtrag zur Unionsbescheinigung über die Bewertung der technischen Dokumentation aus.
5. Überwachung des genehmigten Qualitätsmanagementsystems.
5.1. Die Überwachung durch die in Nummer 3 genannte benannte Stelle soll sicherstellen, dass der Dienstleistungserbringer die Bedingungen des zugelassenen Qualitätssicherungssystems ordnungsgemäß erfüllt.
5.2. Der Anbieter gewährt der benannten Stelle zu Bewertungszwecken Zugang zu den Räumlichkeiten, in denen der Entwurf, die Entwicklung und die Prüfung der KI-Systeme stattfinden. Der Anbieter stellt der benannten Stelle außerdem alle erforderlichen Informationen zur Verfügung.
5.3. Die notifizierte Stelle führt regelmäßig Audits durch, um sicherzustellen, dass der Anbieter das Qualitätsmanagementsystem aufrechterhält und anwendet, und übergibt ihm einen Auditbericht. Im Rahmen dieser Audits kann die notifizierte Stelle zusätzliche Prüfungen der AI-Systeme durchführen, für die eine Unionsbescheinigung über die Bewertung der technischen Dokumentation ausgestellt wurde.
Quelle öffnen
Anhang VIII

Informationen, die bei der Registrierung von AI-Systemen mit hohem Risiko gemäß Artikel 49 vorzulegen sind

Listet Angaben für die Registrierung von Hochrisiko-KI in der EU-Datenbank, etwa Anbieter- und Systemidentität, Zweck, Status, Zertifikate, Mitgliedstaaten, Gebrauchsanweisung, Konformitätserklärung und ggf. Informationen zur Nicht-Hochrisiko-Einstufung. Ziel ist nachvollziehbare Markttransparenz.

Originaltext anzeigen
Abschnitt A - Informationen, die von Anbietern von AI-Systemen mit hohem Risiko gemäß
Artikel 49
Absatz 1 vorzulegen sind
Zu den gemäß
Artikel 49
Absatz 1 zu registrierenden AI-Systemen mit hohem Risiko sind folgende Angaben zu machen und auf dem neuesten Stand zu halten:
1. Name, Anschrift und Kontaktinformationen des Anbieters;
2. Wird die Übermittlung der Informationen von einer anderen Person im Namen des Dienstleistungserbringers vorgenommen, so sind Name, Anschrift und Kontaktangaben dieser Person anzugeben;
3. Name, Anschrift und Kontaktdaten des Bevollmächtigten, falls zutreffend;
4. Die Handelsbezeichnung des AI-Systems und jeder weitere eindeutige Hinweis, der die Identifizierung und Rückverfolgbarkeit des AI-Systems ermöglicht;
5. Eine Beschreibung des beabsichtigten Zwecks des KI-Systems und der Komponenten und Funktionen, die durch dieses KI-System unterstützt werden;
6. Eine grundlegende und knappe Beschreibung der vom System verwendeten Informationen (Daten, Eingänge) und seiner Betriebslogik;
7. Status des KI-Systems (auf dem Markt oder in Betrieb; nicht mehr auf dem Markt/im Betrieb, zurückgerufen);
8. Art, Nummer und Ablaufdatum der von der benannten Stelle ausgestellten Bescheinigung sowie gegebenenfalls Name oder Kennnummer dieser benannten Stelle;
9. Gegebenenfalls eine eingescannte Kopie der unter Punkt 8 genannten Bescheinigung;
10. Alle Mitgliedstaaten, in denen das KI-System in der Union in Verkehr gebracht, in Betrieb genommen oder zur Verfügung gestellt wurde;
11. Eine Kopie der EU-Konformitätserklärung gemäß
Artikel 47
;
12. Elektronische Gebrauchsanweisungen; diese Informationen werden nicht für AI-Systeme mit hohem Risiko in den Bereichen Strafverfolgung oder Migrations-, Asyl- und Grenzkontrollmanagement gemäß
Anhang III
Nummern 1, 6 und 7 bereitgestellt;
13. Eine URL für zusätzliche Informationen (optional).
Abschnitt B - Informationen, die von Anbietern von AI-Systemen mit hohem Risiko gemäß
Artikel 49
Absatz 2 vorzulegen sind
Zu den gemäß
Artikel 49
Absatz 2 zu registrierenden KI-Systemen sind die folgenden Angaben zu machen und auf dem neuesten Stand zu halten:
1. Name, Anschrift und Kontaktinformationen des Anbieters;
2. Wird die Übermittlung der Informationen von einer anderen Person im Namen des Dienstleistungserbringers vorgenommen, so sind Name, Anschrift und Kontaktangaben dieser Person anzugeben;
3. Name, Anschrift und Kontaktdaten des Bevollmächtigten, falls zutreffend;
4. Die Handelsbezeichnung des AI-Systems und jeder weitere eindeutige Hinweis, der die Identifizierung und Rückverfolgbarkeit des AI-Systems ermöglicht;
5. Eine Beschreibung des beabsichtigten Zwecks des KI-Systems;
6. Die Bedingung(en) gemäß
Artikel 6
Absatz 3, auf deren Grundlage das AI-System als nicht risikoreich eingestuft wird;
7. Kurze Zusammenfassung der Gründe, aus denen das AI-System in Anwendung des Verfahrens nach
Artikel 6
Absatz 3 als nicht risikobehaftet eingestuft wird;
8. Status des KI-Systems (auf dem Markt oder in Betrieb; nicht mehr auf dem Markt/im Betrieb, zurückgerufen);
9. Alle Mitgliedstaaten, in denen das KI-System in der Union in Verkehr gebracht, in Betrieb genommen oder zur Verfügung gestellt wurde.
Abschnitt C - Informationen, die von Betreibern von KI-Systemen mit hohem Risiko gemäß
Artikel 49
Absatz 3 vorzulegen sind
Zu den gemäß
Artikel 49
zu registrierenden AI-Systemen mit hohem Risiko sind folgende Angaben zu machen und auf dem neuesten Stand zu halten:
1. Name, Anschrift und Kontaktangaben des Einsatzleiters;
2. Name, Anschrift und Kontaktdaten der Person, die die Informationen im Namen des Entsenders übermittelt;
3. Die URL des Eintrags des KI-Systems in der EU-Datenbank durch seinen Anbieter;
4. Eine Zusammenfassung der Ergebnisse der gemäß
Artikel 27
durchgeführten Grundrechtsverträglichkeitsprüfung;
5. Eine Zusammenfassung der gemäß Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 durchgeführten Datenschutz-Folgenabschätzung gemäß
Artikel 26
Absatz 8 der vorliegenden Verordnung, sofern anwendbar.
Quelle öffnen
Anhang IX

Informationen, die bei der Registrierung von in Anhang III aufgeführten Hochrisiko-KI-Systemen in Bezug auf die Prüfung unter realen Bedingungen gemäß Artikel 60 vorzulegen sind

Listet Angaben für die Registrierung von Realwelt-Tests nach Artikel 60, z. B. Testbeschreibung, Beteiligte, Ort, Dauer, Ziel, betroffene Personengruppen, Schutzmaßnahmen, Genehmigungen und Kontaktdaten. Das macht Tests von Hochrisiko-KI für Behörden kontrollierbar.

Originaltext anzeigen
Für die gemäß
Artikel 60
zu registrierenden Versuche unter realen Bedingungen sind die folgenden Informationen vorzulegen und auf dem neuesten Stand zu halten:
1. Eine unionsweit einheitliche Identifikationsnummer für die Prüfung unter realen Bedingungen;
2. Name und Kontaktdaten des Anbieters oder potenziellen Anbieters und der an der Prüfung unter realen Bedingungen beteiligten Einsatzkräfte;
3. Kurze Beschreibung des KI-Systems, seines Verwendungszwecks und andere für die Identifizierung des Systems erforderliche Informationen;
4. Eine Zusammenfassung der wichtigsten Merkmale des Plans für die Prüfung unter realen Bedingungen;
5. Informationen über die Aussetzung oder Beendigung der Prüfung unter realen Bedingungen.
Quelle öffnen
Anhang X

Gesetzgebungsakte der Union über IT-Großsysteme im Bereich Freiheit, Sicherheit und Recht

Listet EU-Rechtsakte zu IT-Großsystemen im Bereich Freiheit, Sicherheit und Recht, etwa Schengen-, Visa-, Grenz-, Asyl- und Strafverfolgungssysteme. Für diese Bestandssysteme gelten besondere Übergangsregeln nach Artikel 111.

Originaltext anzeigen
1. Schengener Informationssystem
(a) Verordnung (EU) 2018/1860 des Europäischen Parlaments und des Rates vom 28. November 2018 über die Nutzung des Schengener Informationssystems für die Rückführung illegal aufhältiger Drittstaatsangehöriger
(ABl. L 312 vom 7.12.2018, S. 1
).
(b) Verordnung (EU) 2018/1861 des Europäischen Parlaments und des Rates vom 28. November 2018 über die Einrichtung, den Betrieb und die Nutzung des Schengener Informationssystems (SIS) im Bereich der Grenzkontrollen, zur Änderung des Übereinkommens zur Durchführung des Übereinkommens von Schengen sowie zur Änderung und Aufhebung der Verordnung (EG) Nr. 1987/2006
(ABl. L 312 vom 7.12.2018, S. 14
).
(c) Verordnung (EU) 2018/1862 des Europäischen Parlaments und des Rates vom 28. November 2018 über die Einrichtung, den Betrieb und die Nutzung des Schengener Informationssystems (SIS) im Bereich der polizeilichen und justiziellen Zusammenarbeit in Strafsachen, zur Änderung und Aufhebung des Beschlusses 2007/533/JI des Rates und zur Aufhebung der Verordnung (EG) Nr. 1986/2006 des Europäischen Parlaments und des Rates sowie des Beschlusses 2010/261/EU der Kommission
(ABl. L 312 vom 7.12.2018, S. 56
).
2. Visa-Informationssystem
(a) Verordnung (EU) 2021/1133 des Europäischen Parlaments und des Rates vom 7. Juli 2021 zur Änderung der Verordnungen (EU) Nr. 603/2013, (EU) 2016/794, (EU) 2018/1862, (EU) 2019/816 und (EU) 2019/818 hinsichtlich der Festlegung der Bedingungen für den Zugang zu anderen EU-Informationssystemen für die Zwecke des Visa-Informationssystems
(ABl. L 248 vom 13.7.2021, S. 1
).
(b) Verordnung (EU) 2021/1134 des Europäischen Parlaments und des Rates vom 7. Juli 2021 zur Änderung der Verordnungen (EG) Nr. 767/2008, (EG) Nr. 810/2009, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1860, (EU) 2018/1861, (EU) 2019/817 und (EU) 2019/1896 des Europäischen Parlaments und des Rates und zur Aufhebung der Beschlüsse 2004/512/EG und 2008/633/JI des Rates zum Zweck der Reform des Visa-Informationssystems
(ABl. L 248 vom 13.7.2021, p. 11
).
3. Eurodac
Verordnung (EU) 2024/1358 des Europäischen Parlaments und des Rates vom 14. Mai 2024 über die Einrichtung von "Eurodac" für den Abgleich biometrischer Daten zum Zwecke der effektiven Anwendung der Verordnungen (EU) 2024/1315 und (EU) 2024/1350 des Europäischen Parlaments und des Rates und der Richtlinie 2001/55/EG des Rates und zur Identifizierung illegal aufhältiger Drittstaatsangehöriger und Staatenloser sowie über Ersuchen der Strafverfolgungsbehörden der Mitgliedstaaten und von Europol um Abgleich mit Eurodac-Daten zu Strafverfolgungszwecken, zur Änderung der Verordnungen (EU) 2018/1240 und (EU) 2019/818 des Europäischen Parlaments und des Rates und zur Aufhebung der Verordnung (EU) Nr. 603/2013 des Europäischen Parlaments und des Rates (ABl. L, 2024/1358, 22.5.2024, ELI:
http://data.europa.eu/eli/reg/2024/1358/oj)
.
4. Einreise-/Ausreisesystem
Verordnung (EU) 2017/2226 des Europäischen Parlaments und des Rates vom 30. November 2017 zur Einrichtung eines Einreise-/Ausreisesystems (EES) zur Registrierung von Ein- und Ausreisedaten und Daten über die Einreiseverweigerung von Drittstaatsangehörigen, die die Außengrenzen der Mitgliedstaaten überschreiten, und zur Festlegung der Bedingungen für den Zugang zum EES für Strafverfolgungszwecke sowie zur Änderung des Übereinkommens zur Durchführung des Übereinkommens von Schengen und der Verordnungen (EG) Nr. 767/2008 und (EU) Nr. 1077/2011
(ABl. L 327 vom 9.12.2017, S. 20
).
5. Europäisches Reiseinformations- und Genehmigungssystem
(a) Verordnung (EU) 2018/1240 des Europäischen Parlaments und des Rates vom 12. September 2018 zur Einrichtung eines Europäischen Reiseinformations- und -genehmigungssystems (ETIAS) und zur Änderung der Verordnungen (EU) Nr. 1077/2011, (EU) Nr. 515/2014, (EU) 2016/399, (EU) 2016/1624 und (EU) 2017/2226
(ABl. L 236 vom 19.9.2018, S. 1
).
(b) Verordnung (EU) 2018/1241 des Europäischen Parlaments und des Rates vom 12. September 2018 zur Änderung der Verordnung (EU) 2016/794 zum Zweck der Einrichtung eines Europäischen Reiseinformations- und -genehmigungssystems (ETIAS)
(ABl. L 236 vom 19.9.2018, S. 72
).
6. Europäisches Strafregisterinformationssystem für Drittstaatsangehörige und Staatenlose
Verordnung (EU) 2019/816 des Europäischen Parlaments und des Rates vom 17. April 2019 zur Einrichtung eines zentralen Systems zur Ermittlung der Mitgliedstaaten, die über Informationen über strafrechtliche Verurteilungen von Drittstaatsangehörigen und Staatenlosen verfügen (ECRISTCN), zur Ergänzung des Europäischen Strafregisterinformationssystems und zur Änderung der Verordnung (EU) 2018/1726
(ABl. L 135 vom 22.5.2019, S. 1
).
7. Interoperabilität
(a) Verordnung (EU) 2019/817 des Europäischen Parlaments und des Rates vom 20. Mai 2019 zur Schaffung eines Rahmens für die Interoperabilität der EU-Informationssysteme im Bereich Grenzen und Visa und zur Änderung der Verordnungen (EG) Nr. 767/2008, (EU) 2016/399, (EU) 2017/2226, (EU) 2018/1240, (EU) 2018/1726 und (EU) 2018/1861 des Europäischen Parlaments und des Rates sowie der Beschlüsse 2004/512/EG und 2008/633/JI des Rates
(ABl. L 135 vom 22.5.2019, S. 27
).
(b) Verordnung (EU) 2019/818 des Europäischen Parlaments und des Rates vom 20. Mai 2019 zur Schaffung eines Rahmens für die Interoperabilität der EU-Informationssysteme in den Bereichen polizeiliche und justizielle Zusammenarbeit, Asyl und Migration und zur Änderung der Verordnungen (EU) 2018/1726, (EU) 2018/1862 und (EU) 2019/816
(ABl. L 135 vom 22.5.2019, S. 85
).
Quelle öffnen
Anhang XI

Technische Dokumentation gemäß Artikel 53 Absatz 1 Buchstabe a) - Technische Dokumentation für Anbieter von KI-Modellen für allgemeine Zwecke

Legt die technische Dokumentation für GPAI-Anbieter fest: Modellbeschreibung, Aufgaben und Nutzung, Architektur, Parameterzahl, Modalitäten, Trainings-/Testprozess, Datenqüllen, Rechenressourcen, Energieverbrauch, Evaluierungen, Risiken und Sicherheitsmaßnahmen. Diese Informationen müssen dem AI Office bzw. Behörden auf Anfrage bereitstehen.

Originaltext anzeigen
Abschnitt 1 - Informationen, die von allen Anbietern von AI-Modellen für allgemeine Zwecke bereitgestellt werden müssen
Die in
Artikel 53
Absatz 1 Buchstabe a genannten technischen Unterlagen enthalten je nach Größe und Risikoprofil des Modells mindestens die folgenden Informationen:
1. Eine allgemeine Beschreibung des KI-Modells für allgemeine Zwecke, einschließlich:
(a) die Aufgaben, die das Modell erfüllen soll, und die Art und Beschaffenheit der KI-Systeme, in die es integriert werden kann;
(b) die geltenden Grundsätze der akzeptablen Nutzung;
(c) das Datum der Veröffentlichung und die Modalitäten der Verteilung;
(d) die Architektur und die Anzahl der Parameter;
(e) die Modalität (z. B. Text, Bild) und das Format der Ein- und Ausgaben;
(f) die Lizenz.
2. Ausführliche Beschreibung der Elemente des unter Nummer 1 genannten Modells und relevante Informationen über den Entwicklungsprozess, einschließlich der folgenden Elemente:
(a) die technischen Mittel (z. B. Gebrauchsanweisungen, Infrastruktur, Werkzeuge), die erforderlich sind, damit das KI-Allzweckmodell in KI-Systeme integriert werden kann;
(b) die Konstruktionsspezifikationen des Modells und des Ausbildungsprozesses, einschließlich der Ausbildungsmethoden und -techniken, der wichtigsten Konstruktionsentscheidungen einschließlich der Begründung und der getroffenen Annahmen, der Optimierungsziele des Modells und der Bedeutung der verschiedenen Parameter, soweit zutreffend;
(c) gegebenenfalls Angaben zu den für die Schulung, Prüfung und Validierung verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Kuratierungsmethoden (z. B. Bereinigung, Filterung usw.), der Anzahl der Datenpunkte, ihres Umfangs und ihrer Hauptmerkmale; wie die Daten beschafft und ausgewählt wurden, sowie gegebenenfalls alle anderen Maßnahmen zur Erkennung der Ungeeignetheit von Datenquellen und Methoden zur Erkennung erkennbarer Verzerrungen;
(d) die für das Training des Modells verwendeten Rechenressourcen (z. B. Anzahl der Gleitkommaoperationen), die Trainingszeit und andere relevante Details im Zusammenhang mit dem Training;
(e) bekannter oder geschätzter Energieverbrauch des Modells. In Bezug auf Buchstabe e, bei dem der Energieverbrauch des Modells unbekannt ist, kann der Energieverbrauch auf Informationen über die verwendeten Rechenressourcen beruhen.
Abschnitt 2 - Zusätzliche Informationen, die von den Anbietern von KI-Modellen für allgemeine Zwecke mit systemischem Risiko bereitzustellen sind
1. Ausführliche Beschreibung der Bewertungsstrategien, einschließlich der Bewertungsergebnisse, auf der Grundlage der verfügbaren öffentlichen Bewertungsprotokolle und -instrumente oder anderer Bewertungsmethoden. Die Bewertungsstrategien umfassen Bewertungskriterien, Messgrößen und die Methodik zur Ermittlung von Einschränkungen.
2. Gegebenenfalls eine ausführliche Beschreibung der Maßnahmen, die zur Durchführung interner und/oder externer negativer Tests (z. B. Red Teaming), Modellanpassungen, einschließlich Abgleich und Feinabstimmung, ergriffen wurden.
3. Gegebenenfalls eine ausführliche Beschreibung der Systemarchitektur, aus der hervorgeht, wie die Softwarekomponenten aufeinander aufbauen oder ineinandergreifen und in die Gesamtverarbeitung integriert sind.
Quelle öffnen
Anhang XII

Transparenzinformationen gemäß Artikel 53 Absatz 1 Buchstabe b - Technische Dokumentation für Anbieter von AI-Modellen für allgemeine Zwecke an nachgeschaltete Anbieter, die das Modell in ihr AI-System integrieren

Bestimmt, welche Informationen GPAI-Anbieter nachgelagerten Anbietern geben müssen: Fähigkeiten, Grenzen, vorgesehene Nutzung, technische Schnittstellen, Input-/Output-Modalitäten, Lizenzen, Integrationshinweise, Evaluierungen und relevante Risiken. Ziel ist, dass Systemanbieter ihre eigenen AI-Act-Pflichten erfüllen können.

Originaltext anzeigen
Die in
Artikel 53
Absatz 1 Buchstabe b genannten Informationen müssen mindestens Folgendes enthalten:
1. Eine allgemeine Beschreibung des KI-Modells für allgemeine Zwecke, einschließlich:
(a) die Aufgaben, die das Modell erfüllen soll, und die Art und Beschaffenheit der KI-Systeme, in die es integriert werden kann;
(b) die geltenden Grundsätze der akzeptablen Nutzung;
(c) das Datum der Veröffentlichung und die Modalitäten der Verteilung;
(d) gegebenenfalls die Art und Weise, wie das Modell mit Hardware oder Software, die nicht Teil des Modells selbst ist, interagiert oder interagieren kann;
(e) gegebenenfalls die Versionen der einschlägigen Software, die für die Verwendung des allgemeinen KI-Modells erforderlich sind;
(f) die Architektur und die Anzahl der Parameter;
(g) die Modalität (z. B. Text, Bild) und das Format der Ein- und Ausgaben;
(h) die Lizenz für das Modell.
2. Eine Beschreibung der Elemente des Modells und des Prozesses für seine Entwicklung, einschließlich:
(a) die technischen Mittel (z. B. Gebrauchsanweisungen, Infrastruktur, Werkzeuge), die erforderlich sind, damit das KI-Allzweckmodell in KI-Systeme integriert werden kann;
(b) die Modalität (z. B. Text, Bild usw.) und das Format der Eingaben und Ausgaben sowie deren maximale Größe (z. B. Länge des Kontextfensters usw.);
(c) gegebenenfalls Informationen über die für die Schulung, Prüfung und Validierung verwendeten Daten, einschließlich der Art und Herkunft der Daten und der Kuratierungsmethoden.
Quelle öffnen
Anhang XIII

Kriterien für die Benennung von KI-Modellen für allgemeine Zwecke mit systemischem Risiko gemäß Artikel 51

Nennt Kriterien für die Einstufung eines GPAI-Modells mit systemischem Risiko: Trainingsrechenleistung, Modellfähigkeiten, Benchmarks, Autonomie, Skalierbarkeit, Modalitäten, Toolzugang, Reichweite im Binnenmarkt und Nutzerzahlen. Besonders wichtig ist der Vermutungswert von 10^25 FLOPs aus Artikel 51.

Originaltext anzeigen
Um festzustellen, ob ein KI-Modell für allgemeine Zwecke über Fähigkeiten oder Auswirkungen verfügt, die den in
Artikel 51
Absatz 1 Buchstabe a genannten gleichwertig sind, berücksichtigt die Kommission die folgenden Kriterien:
(a) die Anzahl der Parameter des Modells;
(b) die Qualität oder Größe des Datensatzes, z. B. gemessen in Token;
(c) der Rechenaufwand für das Training des Modells, gemessen in Gleitkommaoperationen oder angegeben durch eine Kombination anderer Variablen wie geschätzte Trainingskosten, geschätzte Trainingsdauer oder geschätzter Energieverbrauch für das Training;
(d) die Eingabe- und Ausgabemodalitäten des Modells, wie z. B. Text-zu-Text (große Sprachmodelle), Text-zu-Bild, Multimodalität, und die dem Stand der Technik entsprechenden Schwellenwerte für die Bestimmung der hochwirksamen Fähigkeiten für jede Modalität, sowie die spezifische Art der Eingaben und Ausgaben (z. B. biologische Sequenzen);
(e) die Benchmarks und Bewertungen der Fähigkeiten des Modells, einschließlich der Berücksichtigung der Anzahl der Aufgaben ohne zusätzliches Training, der Anpassungsfähigkeit zum Erlernen neuer, unterschiedlicher Aufgaben, des Grads der Autonomie und der Skalierbarkeit des Modells sowie der Werkzeuge, zu denen es Zugang hat;
(f) ob es aufgrund seiner Reichweite große Auswirkungen auf den Binnenmarkt hat, wovon auszugehen ist, wenn es mindestens 10 000 registrierten gewerblichen Nutzern mit Sitz in der Union zur Verfügung gestellt wurde;
(g) die Anzahl der registrierten Endnutzer.
Quelle öffnen