Verordnung zur künstlichen Intelligenz (AI-Act)

Ziele der Verordnung

Wer ist betroffen?

• Anbieter, die in der Union KI-Systeme in Verkehr bringen oder in Betrieb nehmen oder KI-Modelle mit allgemeinem Verwendungszweck in Verkehr bringen, unabhängig davon, ob diese Anbieter in der Union oder in einem Drittland niedergelassen oder ansässig sind;
• Betreiber von KI-Systemen, die ihren Sitz oder eine Niederlassung in der Union haben;
• Anbieter und Betreiber von KI-Systemen, die ihren Sitz oder eine Niederlassung haben, wenn die vom KI-System hervorgebrachte Ausgabe in der Union verwendet wird;
• Einführer und Händler von KI-Systemen;
• Produkthersteller, die KI-Systeme zusammen mit ihrem Produkt unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder in Betrieb nehmen;
• Bevollmächtigte von Anbietern, die nicht in der Union niedergelassen sind und
• betroffene Personen, die sich in der Union befinden.

KI-Systeme mit geringem Risiko

Allgemeine und bestimmte KI-Systeme

• Bestimmte KI (Artikel 50): Transparenzpflichten
• KI-Modelle mit allgemeinem Verwendungszweck (Artikel 51 bis 53): technische Dokumentation, Informationen für Integratoren, Strategie zur Einhaltung des Urheberrechts, detaillierte Zusammenfassung der für das Training verwendeten Informationen (EU-Template für Zusammenfassung der öffentlichen Informationen über die Trainingsdatenbasis)
• KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko (Artikel 51 bis 53 und 55): zusätzlich Mitteilungspflicht, Modellbewertung, Risiko- und Notfallmanagement, Cybersicherheit

• allgemeine KI-Modelle
• Anbieter, die allgemeine KI-Modelle auf den Markt bringen
• Ausnahmen von bestimmten Verpflichtungen für Anbieter allgemeiner KI-Modelle, die als Open Source veröffentlicht werden
• Einhaltung der Verpflichtungen für Anbieter allgemeiner KI-Modelle.

KI-Systeme mit hohem Risiko

• Vorkehrungen zur Risikominimierung und -minderung für den gesamten Lebenszyklus (Risikomanagementsystem),
• hochwertige Datensätze (Data Governance),
• Automatische Protokollierung der Vorgänge,
• Technische Dokumentation (Anhang IV),
• klare Informationen für die Nutzer (Gebrauchsanweisungen),
• die Überwachung und Kontrolle (menschliche Aufsicht und Qualitätsmanagementsystem),
• Robustheit, Genauigkeit und Cybersicherheit

• Anwendungsfälle von KI als Sicherheitsbauteil in Produkten, die den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union sowie einer Konformitätsbewertung unterliegen
• Anwendungen, die in Anhang III aufgeführt werden: bestimmte kritische Infrastrukturen, z. B. in den Bereichen Wasser, Gas und Strom, Medizinprodukte, Systeme für die Zugangsgewährung zu Bildungseinrichtungen oder für die Einstellung von Personen oder bestimmte Systeme, die in den Bereichen Strafverfolgung, Grenzkontrolle, Justizverwaltung und demokratische Prozesse eingesetzt werden. Darüber hinaus gelten auch Systeme zur biometrischen Identifizierung und Kategorisierung sowie zur Emotionserkennung als hochriskant.

KI-Systeme mit unannehmbarem Risiko

• biometrische Kategorisierungssysteme, die sensible Merkmale verwenden (z. B. politische, religiöse, philosophische Überzeugungen, sexuelle Orientierung, Rasse);
• ungezieltes Auslesen von Bildern aus dem Internet oder Videoüberwachungen zur Erstellung von Gesichtserkennungsdatenbanken;
• Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen;
• Scoring basierend auf sozialem Verhalten oder persönlichen Merkmalen;
• KI-Systeme, die menschliches Verhalten manipulieren, um ihren freien Willen zu umgehen;
• KI, die Schwachstellen bestimmter Gruppen ausnutzt (aufgrund ihres Alters, ihrer Behinderung, ihrer sozialen oder wirtschaftlichen Situation).
• Nudify-Apps: Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, das realistische Bild-, Video-, Ton- oder ähnliche Inhalte erzeugt oder manipuliert, in denen intime Körperteile einer bestimmbaren natürlichen Person dargestellt werden oder eine an eindeutig sexuellen Handlungen beteiligte bestimmbare Person dargestellt wird, ohne dass die betreffende Person eine Zustimmung erteilt hat.

Ausnahmen für die Strafverfolgung

• Einsatz biometrischer Identifikationssysteme (RBI) in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, vorbehaltlich einer vorherigen richterlichen Genehmigung und für streng definierte Straftatenlisten.
• „Post-Remote“-RBI ausschließlich für die gezielte Suche nach Personen, die wegen einer schweren Straftat verurteilt sind oder verdächtigt werden.
• „Echtzeit“-RBI (zeitlich und örtlich begrenzt) muss strenge Bedingungen erfüllen und ist nur zu folgenden Zwecken zulässig:
  • gezielte Suche nach Opfern (Entführung, Menschenhandel, sexuelle Ausbeutung),
  • Abwehr einer konkreten und gegenwärtigen terroristischen Bedrohung,
  • die Lokalisierung oder Identifizierung einer Person, die im Verdacht steht, eine der in der Verordnung genannten konkreten Straftaten begangen zu haben (z. B. Terrorismus, Menschenhandel, sexuelle Ausbeutung, Mord, Entführung, Vergewaltigung, bewaffneter Raubüberfall, Beteiligung an einer kriminellen Vereinigung, Umweltkriminalität).

KI-Kompetenz

Konformitätserklärung

• Name und Art des KI-Systems und etwaige zusätzliche eindeutige Angaben zur Identifizierung und Rückverfolgbarkeit des KI-Systems
• Name und Anschrift des Anbieters und gegebenenfalls seines Bevollmächtigten
• Erklärung über die alleinige Verantwortung des Anbieters für die Ausstellung der EU-Konformitätserklärung
• Versicherung der Konformität des KI-Systems mit der Verordnung sowie weiteren einschlägigen Rechtsvorschriften (auch hinsichtlich der Verarbeitung personenbezogener Daten)
• Verweise auf die verwendeten einschlägigen harmonisierten Normen oder sonstigen gemeinsamen Spezifikationen
• gegebenenfalls Name und Identifizierungsnummer der notifizierten Stelle, Beschreibung des durchgeführten Konformitätsbewertungsverfahrens und Identifizierungsnummer der ausgestellten Bescheinigung
• Ort und Datum der Ausstellung der Erklärung, den Namen und die Funktion des Unterzeichners sowie Angabe, für wen oder in wessen Namen diese Person unterzeichnet hat, eine Unterschrift

Besondere Transparenzverpflichtungen:

Erleichterungen für KMU und kleine Midcap-Unternehmen

• Reduzierte Gebühren: Bei Konformitätsbewertungen und behördlichen Verfahren müssen die Bedürfnisse von KMU berücksichtigt werden. Gebühren sollen verhältnismäßig ausgestaltet werden.
• Vorrangiger Zugang zu KI-Reallaboren (Sandboxes): Mitgliedstaaten müssen regulatorische KI-Reallabore schaffen. KMU und Start-ups sollen hierbei bevorzugten Zugang erhalten, um KI-Systeme vor Markteinführung unter Aufsicht testen zu können.
• Unterstützung durch Behörden: Die nationalen Marktaufsichtsbehörden und die Europäische Kommission sollen Leitlinien, technische Hilfen und Unterstützungsmaßnahmen insbesondere für KMU bereitstellen.
• Verhältnismäßigkeitsprinzip: Bei der Anwendung vieler Anforderungen ist die Unternehmensgröße zu berücksichtigen. Die Verordnung betont ausdrücklich, dass die Innovationsfähigkeit kleiner Unternehmen nicht unnötig beeinträchtigt werden soll.
• Vereinfachte technische Dokumentation: Die Kommission soll für KMU und Small Mid-Caps ein vereinfachtes Formular für die technische Dokumentation nach Anhang IV bereitstellen, um den Dokumentationsaufwand bei Hochrisiko-KI-Systemen zu senken. Die notifizierten Stellen akzeptieren das Formular für die Zwecke der Konformitätsbewertung.
• Qualitätsmanagement gemäß Artikel 17 bei Hochrisiko-KI-Systemen: Die Umsetzung erfolgt in einem angemessenen Verhältnis zur Größe der Organisation des Anbieters, insbesondere wenn es sich um ein KMU, einschließlich Start-up-Unternehmen, oder ein kleines Midcap-Unternehmen handelt. Die Kommission erarbeitet Leitlinien zu den Elementen des vereinfachten Qualitätsmanagementsystems aus. Das Schutzniveau oder die Notwendigkeit zur Einhaltung der Anforderungen darf nicht beeinträchtigt werden.
• Sanktionen: Für KMU, Start-up-Unternehmen und kleine Midcap-Unternehmen sollen angemessen niedrigere Bußgeld-Obergrenzen vorgesehen werden.

Sanktionen

• von bis zu 35 Millionen Euro oder - bei Unternehmen - von bis zu 7 Prozent des Umsatzes*,
• von bis zu 15 Millionen Euro oder von bis zu 3 Prozent,
• von bis zu 7,5 Millionen Euro oder von bis zu 1 Prozent

Zeitplan

• seit 2. Februar 2025: KI mit inakzeptablem Risiko ist verboten
• seit 2. August 2025: Regeln zu Governance und General Purpose AI (GPAI) für Hochrisiko-KI
• ab 2. August 2026: Allgemeiner Anwendungsbeginn großer Teile des AI Act, insbesondere Transparenzpflichten nach Art. 50
• 2. Dezember 2026: Ende der Übergangsfrist für bestimmte Kennzeichnungspflichten (Watermarking) von vor dem 02. August 2026 in Verkehr gebrachten generativen KI-Systemen
• ab 2. Dezember 2027: Anforderungen an Hochrisiko-KI-Systeme nach Art. 6 Abs. 2 i. V. m. Anhang III (z. B. Personalarbeit, Bildung, Kreditwürdigkeit, Strafverfolgung)
• ab 2. August 2028: Anforderungen an Hochrisiko-KI-Systeme in regulierten Produkten nach Art. 6 Abs. 1 i. V. m. Anhang I (z. B. Medizinprodukte, Maschinen, Luftfahrt)

Umsetzung in Deutschland

Marktüberwachung

Sektorspezifische Anwendungen:

Anwendungsorientierte Umsetzung:

Innovationsförderung:

• Informationen und Anleitungen zur Anwendung der KI-Verordnung,
• Sensibilisierungs- und Schulungsmaßnahmen,
• die Förderung des Wissensaufbau und -austausch zu KI,
• Vernetzung und Kooperation der relevanten Akteure sowie
• die Mitarbeit im Bereich der technischen Normung von künstlicher Intelligenz in nationalen und internationalen Normungsgremien

Reallabore:

Tests von Hochrisiko-KI-Systemen: