Hinweis: Dieser Blog-Artikel bietet keine rechtliche Beratung. Er dient lediglich informativen Zwecken. (Stand: 30. Mai 2024)

Executive Summary – Was ist der EU AI-Act und wen betrifft er?

Der EU AI-Act klassifiziert KI-Systeme nach Risikostufen und legt fest, was bei der Erstellung, Bereitstellung und dem Betrieb von so einem System in der EU beachtet werden muss.

Abgesehen von Verbraucher und Aufsichtsbehörden betrifft der EU AI-Act:

• Organisationen, die KI-Systeme in der EU herstellen oder kommerziell bereitstellen
• Organisationen, die KI-Systeme in der EU betreiben

Die EU hat vier Risikokategorien definiert, um KI-Modelle und -Systeme zu klassifizieren. Für die Praxis relevant, sind die Vorgaben für Organisationen, die mit folgenden Systemen in Berührung kommen:  

• Hochrisikosystemen, die strengen Anforderungen bei der Entwicklung und bei deren Einsatz unterliegen
• Systeme mit Transparenzpflichten , die als solche gekennzeichnet werden müssen

Außerdem gibt der EU AI-Act vor, dass Systeme mit unannehmbarem Risiko gänzlich verboten sind und Systeme mit keinem oder minimalem Risiko weiterhin unreguliert bleiben. Systeme, die nicht in der EU zum Einsatz kommen, sind von dem AI-Act auch nicht betroffen.

Wussten Sie schon? Das Future of Life Institute hat ein Tool herausgebracht, mit dem Sie leicht feststellen können, wie sehr Sie vom AI-Act betroffen sind.

Systeme mit hohem Risiko

Definition

Zu den Hochrisiko-KI-Systemen gehören Anwendungen in den Bereichen Biometrie, kritische Infrastruktur, Bildung und berufliche Ausbildung, Arbeitsverhältnisse, Eignungsbewertung für essenzielle Dienste sowie juristische Entscheidungsfindung. Ebenfalls umfasst sind Systeme, die normalerweise nicht zulässig sind, aber durch spezielle Regelungen, etwa im Kontext nationaler Sicherheit oder Verteidigung, legalisiert wurden. Die

Compliance Anforderungen

Der AI-Act stellt strenge Anforderungen an die Entwicklung und den Einsatz von Hochrisiko-KI-Systemen. Um als Organisation konform zu bleiben, müssen Sie Folgendes beachten:

• Risikomanagementsystem: Richten Sie ein Risikomanagementsystem ein, das den gesamten Lebenszyklus des KI-Systems abdeckt.
• Data Governance: Stellen Sie sicher, dass Schulungs-, Validierungs- und Testdatensätze relevant, repräsentativ, fehlerfrei und vollständig sind.
• Technische Unterlagen: Erstellen Sie technische Unterlagen zum Nachweis der Konformität und zur Bereitstellung von Informationen für die Behörden. Siehe Details
• Ereignisaufzeichnung: Gestalten Sie das KI-System so, dass es relevante Ereignisse und wesentliche Änderungen im gesamten Lebenszyklus automatisch aufzeichnet.
• Gebrauchsanweisungen: Stellen Sie Gebrauchsanweisungen für nachgeschaltete Verteiler zur Einhaltung der Vorschriften bereit.
• Human in the Loop: Gestalten Sie das KI-System so, dass Einsatzkräfte menschliche Aufsicht implementieren können.
• Systemqualität: Stellen Sie ein angemessenes Maß an Cybersecurity Maßnahmen im System sicher.
• Qualitätsmanagementsystem: Richten Sie ein Qualitätsmanagementsystem ein, um die Einhaltung der Vorschriften zu gewährleisten.  

Beispiele

Folgende Beispiele sind eine Veranschaulichung und keine umfassende Auflistung (!)

(Nicht unannehmbare) Biometrie: Gesichtserkennung für Zugangskontrollen:

• Verwendung von Gesichtserkennungssystemen zur sicheren Zutrittskontrolle in Büros oder zu sensiblen Bereichen eines Unternehmens.
• Fingerprint-Authentifizierung für mobile Geräte: Verwendung von Fingerabdrucksensoren in Smartphones und Tablets zur sicheren Benutzerverifizierung.

Kritische Infrastrukturen:

• Überwachungssysteme für Kraftwerke: Einsatz von KI zur Überwachung und Vorhersage von Wartungsbedarf in Kraftwerken.
• KI-gestützte Verkehrssteuerung: Verwendung von KI zur Echtzeitüberwachung und Steuerung des Verkehrsflusses in städtischen Gebieten.

Bildung und berufliche Ausbildung:

• Intelligente Tutoring-Systeme: KI-gestützte Lernplattformen, die personalisierte Lernpfade für Schüler erstellen und ihnen helfen, ihre individuellen Lernziele zu erreichen.
• Automatisierte Bewertungssysteme: KI-Tools, die Prüfungen und Hausaufgaben automatisch bewerten und detailliertes Feedback geben.

Festlegung von Arbeitsverhältnissen:  

• Bewerbervorauswahl: KI-Systeme, die Bewerbungen analysieren und eine Vorauswahl treffen, basierend auf den Qualifikationen und Erfahrungen der Kandidaten.
• Vorhersage von Mitarbeiterbindung: Einsatz von KI zur Analyse von Mitarbeiterdaten, um die Wahrscheinlichkeit zu bestimmen, dass Mitarbeiter im Unternehmen bleiben.

Bewertung der Eignung für essenzielle Dienste:  

• Notrufsysteme: KI-gestützte Systeme, die Notrufe analysieren und automatisch die Dringlichkeit der Situation bewerten.
• Kreditwürdigkeit: KI-gestützte Systeme, die die Kreditwürdigkeit von Antragstellern bewerten, indem sie finanzielle Daten und Zahlungshistorien analysieren.

Juristische & Demokratische Entscheidungsfindung

• Rechtsanalyse: KI-Systeme, die juristische Dokumente analysieren und rechtliche Argumente sowie Präzedenzfälle identifizieren, um Anwälten und Richtern bei der Entscheidungsfindung zu helfen.
• Bürgerbeteiligung: Plattformen, die KI nutzen, um Bürgermeinungen zu analysieren und in Entscheidungsprozesse auf kommunaler oder nationaler Ebene zu integrieren.

‍

Systeme mit Transparenzpflichten

Definition

Systeme die nicht als unannehmbar oder hochriskant eingestuft sind und mit Menschen interagieren (Beispiel: Chatbots) stehen unter gewissen Transparenzpflichten. Bei solchen Systemen müssen Sie deutlichen machen, dass es sich um eine KI handelt, außer es ist offensichtlich.

Compliance Anforderungen

Bei Systemen mit Transparenzpflichten, müssen Sie folgendes beachten:

• Deepfakes: Als Betreiber von KI-Systemen, die Deepfakes erzeugen, müssen Sie offenlegen, dass die Inhalte künstlich sind.
• Synthetische Daten: Als Betreiber von KI-Systemen, die synthetische Inhalte erzeugen (z.B. Bilder, Videos), müssen Sie diese ebenfalls als künstlich kennzeichnen.
• Generierte Texte: Wenn Sie KI-erzeugte Texte zur Information der Öffentlichkeit generieren, müssen diese Texte auch als solche gekennzeichnet werden (Ausnahme: der generierte Text wurde von einem Menschen vor Veröffentlichung überprüft)

Systeme mit unannehmbarem Risiko

Definition

Der Einsatz von Künstlicher Intelligenz, der Personen ohne ihr Wissen manipuliert, ihre Schwächen ausnutzt oder diskriminiert ist als System mit unannehmbarem Risiko definiert. Dazu gehören Systeme zur Überwachung und Kontrolle, zur Biometrischen Diskriminierung, und zur Manipulation und Einflussnahme. Es gelten jedoch Ausnahmen, vor allem wenn diese Systeme im Zusammenhang mit Nationaler Sicherheit und Verteidigungspolitik stehen.

Compliance Anforderungen

Der Einsatz von Systemen mit unannehmbarem Risiko ist laut AI-Act verboten, solange keine Ausnahme gilt (Nationale Sicherheit, Verteidigungspolitik, EU-Grenzschutz, etc.).

Beispiele:

Folgende Beispiele sind eine Veranschaulichung und keine umfassende Auflistung (!)

Überwachung und Kontrolle:

• Predictive Policing: Der Einsatz von KI zur Vorhersage von Straftaten basierend auf historischen Daten und Profilen.
• Social Scoring: Die Bewertung des Verhaltens und der Eigenschaften von Menschen durch KI zur Bestimmung ihres sozialen Wertes.
• Fernidentifizierungssysteme: KI-basierte Systeme zur Identifizierung von Personen aus der Ferne ohne deren Zustimmung.

Biometrische Diskriminierung:

• Emotionserkennung: Die Nutzung von KI zur Analyse und Identifizierung von Emotionen aus Gesichtsausdrücken, Sprache oder anderen Verhaltensweisen.
• Biometrische Kategorisierung: Diskriminierung anhand Biometrischer Faktoren wie Gesicht, Fingerabdrücke, Hautfarbe, etc.

Manipulation und Einflussnahme:

• Beeinflussung und Ausnutzung von schutzbedürftigen Gruppen: Der Einsatz von KI zur Manipulation oder Ausnutzung von besonders schutzbedürftigen Personen oder Gruppen.
• Beeinflussung von Verhalten: Die Nutzung von KI, um das Verhalten von Menschen gezielt zu beeinflussen oder zu manipulieren (Z.b. politische Wahlen).

Systeme mit niedrigem Risiko

Definition

Alle Systeme, die nicht in die oben genannten Kategorien fallen, sind als geringes bis kein Risiko einzustufen.

Compliance Anforderungen

Solche Systeme bleiben in der aktuellen Version des EU AI-Act unreguliert. Es wird jedoch empfohlen, die allgemeinen Grundsätze der Transparenz, Fairness und menschlichen Aufsicht zu befolgen, um eine ethische Nutzung sicherzustellen.

Beispiele

Folgende Beispiele sind eine Veranschaulichung und keine umfassende Auflistung (!)

• Email-Spamfilter: Diese Systeme helfen, Spam-E-Mails zu identifizieren und herauszufiltern, sodass die Posteingänge der Benutzer übersichtlich bleiben.
• KI in Videospielen: Diese Systeme verbessern das Spielerlebnis durch Bereitstellung von NPC-Verhalten, Spielmechaniken und anderen interaktiven Elementen, ohne die grundlegenden Rechte oder die Sicherheit der Benutzer zu beeinträchtigen.
• Kundenservice-Chatbots: Einfache Chatbots, die Kundenanfragen bearbeiten und automatisierte Antworten geben, fallen in diese Kategorie und sollen den Benutzern bei häufigen Fragen helfen oder sie an geeignete Ressourcen weiterleiten, ohne erhebliche Risiken darzustellen.
• Empfehlungssysteme für Inhalte: KI-Systeme, die Filme, Bücher oder andere Inhalte basierend auf den Vorlieben der Benutzer vorschlagen, sind in der Regel risikoarm, da ihr Einfluss auf die Benutzer minimal und meist positiv ist.
• Einfache Datenanalysetools: Werkzeuge, die einfache Datenanalyseaufgaben für den persönlichen oder geschäftlichen Gebrauch durchführen, wie das Erstellen von Berichten oder das Visualisieren von Datentrends, gelten ebenfalls als minimal riskant.  

Zusammenfassung

Wer ist betroffen? Der EU AI-Act betrifft Organisationen, die KI-Systeme in der EU herstellen, bereitstellen oder betreiben, und definiert vier Risikokategorien für KI-Modelle und -Systeme.

Hochrisiko-KI-Systeme: umfassen Anwendungen in Bereichen wie Biometrie, kritische Infrastruktur, Bildung, Arbeitsverhältnisse und juristische Entscheidungsfindung und erfordern strenge Compliance-Maßnahmen.

Systeme mit Transparenzpflichten: müssen klar kennzeichnen, dass sie von KI generiert wurden, insbesondere bei Deepfakes und synthetischen Daten.

Systeme mit unannehmbarem Risiko: die Personen ohne ihr Wissen manipulieren oder diskriminieren, sind verboten, es sei denn, sie werden aus Gründen der nationalen Sicherheit oder Verteidigung eingesetzt.

Quellen

EU Artificial Intelligence Act | Up-to-date developments and analyses of the EU AI Act

EU verabschiedet erstes KI-Gesetz weltweit | Bundesregierung