Wegweiser für mehr Rechtsklarheit und Sicherheit bei Künstlicher IntelligenzEU AI Act: Klassifizierung von KI-Systemen

Der Einsatz künstlicher Intelligenz (KI) bietet Unternehmen und Organisationen viele Chancen, Prozesse effizienter zu gestalten oder auch gänzlich neue Geschäftsmodelle zu entwickeln. Jedoch ist es wichtig, die gesetzlichen Rahmenbedingungen zu kennen, um entsprechende Pflichten einzuhalten, da ansonsten hohe Bußgelder drohen können.

Das europäische KI-Gesetz (EU AI Act) ist am 1. August 2024 in Kraft getreten. Es gilt als der weltweit erste umfassende Rechtsrahmen für die Regulierung von KI und zielt darauf ab, innerhalb der Europäischen Union die Grundrechte der Bürger zu schützen und eine verantwortungsvolle Entwicklung und Verwendung von KI zu fördern. Dabei geht die Verordnung über Organisationen in der EU hinaus und gilt für alle Unternehmen, die KI in Interaktionen mit in der EU ansässigen Personen einsetzen.

Da der EU AI Act KI-Systeme nach Risikostufen mit entsprechenden Rechtspflichten kategorisiert, ist es für jedes Unternehmen, das am Lebenszyklus eines KI-Systems beteiligt ist, unerlässlich, ihr jeweiliges System korrekt zu klassifizieren. Denn bei Verstoß sind im schlimmsten Fall Strafzahlungen von bis zu 7 Prozent des weltweiten Jahresumsatzes oder 35 Millionen Euro möglich. Ein Überblick zur Klassifizierung von KI-Systemen nach dem EU AI Act hilft dabei weiter.

Die zwei wichtigsten Bewertungskriterien für KI-Systeme

Gemäß EU AI Act sind zwei wesentliche Bewertungen erforderlich, damit Unternehmen die für ein KI-System geltenden Pflichten bestimmen können:

• Die erste Bewertung erfolgt durch die Einstufung des Risikoniveaus des KI-Systems. Die Verpflichtungen des EU AI Acts richten sich dabei in erster Linie an Systeme mit hohem Risiko, für die die strengsten Anforderungen gelten.
• Die zweite Bewertung legt fest, ob das KI-System als transparenzpflichtiges System eingestuft wird oder nicht. Wichtig hierbei: Die Transparenzanforderungen gelten für KI-Systeme unabhängig von ihrem Risikoniveau.

Die Risikokategorien nach EU AI Act im Überblick

Nach EU AI Act werden KI-Systeme in drei Risikokategorien eingeteilt: verbotene KI-Systeme, die ein inakzeptables Risiko darstellen; hochriskante Systeme, die strenge Anforderungen erfüllen müssen; sowie Systeme mit geringem Risiko: Fällt ein KI-System nicht unter die verbotene oder risikoreiche Kategorie, wird es als risikoarm eingestuft und bleibt weitgehend unreguliert, unterliegt jedoch gegebenenfalls der Transparenzpflicht.

Der erste Schritt bei der Bewertung des Risikoniveaus eines KI-Systems besteht darin zu prüfen, ob es unter die in Artikel 5 des EU AI Acts aufgeführten verbotenen Kategorien fällt. Diese Verbote dienen dem Schutz der Privatsphäre, der Grundrechte und der öffentlichen Sicherheit, mit einigen eng definierten Ausnahmen. Zu den wichtigsten Verboten gehören:

• Unterschwellige, manipulative oder täuschende Techniken: KI-Systeme, die heimlich die bewusste Entscheidungsfindung von Personen beeinflussen, wodurch erheblicher Schaden entstehen kann.
• Ausnutzung von Schwachstellen: KI, die Personen aufgrund ihrer Vulnerabilität wie Alter, Behinderung oder sozioökonomischen Verhältnissen ins Visier nimmt, um schädlichen Einfluss auszuüben.
• Biometrische Kategorisierungssysteme: Systeme, die Personen auf Grundlage sensibler persönlicher Daten kategorisieren, wie zum Beispiel ethnische Zugehörigkeit, Religion oder politische Überzeugungen, mit wenigen rechtmäßigen Ausnahmen.
• Social Scoring: KI, die von Behörden eingesetzt wird, um Bewertungen auf der Grundlage von sozialem Verhalten oder Persönlichkeitsmerkmalen vorzunehmen, mit negativen Auswirkungen für Personen mit niedrigem Score.
• Biometrische Identifizierung in Echtzeit: Systeme, die von Strafverfolgungsbehörden im öffentlichen Raum zur Identifizierung von Personen in Echtzeit eingesetzt werden, außer in eng definierten Situationen, etwa bei unmittelbarer Bedrohung oder schwerwiegenden strafrechtlichen Ermittlungen.

Ist das KI-System nicht verboten, muss im nächsten Schritt geprüft werden, ob es als Hochrisikosystem gemäß Artikel 6, EU AI Act einzustufen ist. Das Gesetz nennt in Anhang III spezifische Bereiche, in denen Systeme aufgrund ihrer potenziellen Auswirkungen auf die öffentliche Sicherheit und die Grundrechte als hochriskant gelten. Hierzu gehören:

• Biometrische und Emotionserkennungssysteme: KI-Systeme, die zur biometrischen Identifizierung und Kategorisierung natürlicher Personen eingesetzt werden oder zur Erkennung deren Emotionen.
• Kritische Infrastruktur: KI-Systeme, die zum Beispiel Versorgungsnetze oder Verkehrsnetze verwalten, da ihr Ausfall oder ihre Manipulation erhebliche Folgen für die öffentliche Sicherheit haben können.
• Bildung: KI-Anwendungen im Bildungswesen, einschließlich solcher, die für die Zulassung, Benotung und Verhaltensüberwachung von Schülern eingesetzt werden.
• HR und Arbeitnehmer-Management: KI-Systeme, die bei Einstellungsverfahren von Mitarbeitern, deren Leistungsbewertungen und der Zuweisung von Aufgaben zum Einsatz kommen. Die Gewährleistung, dass diese Systeme unvoreingenommen und transparent arbeiten, ist entscheidend für den Schutz von Arbeitnehmerrechten.
• Private und öffentliche Dienstleistungen: KI-Anwendungen, die für die Verteilung von Sozialleistungen, Kreditwürdigkeitsprüfung und der Disposition von Notdiensten wie Polizei, Feuerwehr oder medizinische Hilfe eingesetzt werden.
• Strafverfolgung: KI-Systeme, die für die Erstellung von Kriminalitätsprofilen, die Analyse von Beweismitteln und die vorhersagende Polizeiarbeit genutzt werden. Es gelten strenge Vorschriften, um Missbrauch zu verhindern und die Rechte des Einzelnen zu schützen.
• Migration und Grenzkontrolle: KI-Anwendungen in der Migrations- und Grenzkontrolle, einschließlich Risikobewertungen und Instrumenten zur Dokumentenüberprüfung. Diese Systeme müssen transparent und fair arbeiten, um die Rechte des Einzelnen zu wahren.
• Gerichtsprozesse: KI-Systeme, die die Bewertung von Beweisen, die Auslegung von Gesetzen und die Beilegung von Streitigkeiten unterstützen. Um das Vertrauen in das Justizsystem aufrechtzuerhalten, muss sichergestellt werden, dass diese Systeme genau und transparent sind.

Zusätzlich werden in Artikel 6 auch andere Systeme als hochriskant eingestuft, wenn sie als Sicherheitskomponenten bestimmter regulierter Produkte wie Medizintechnik, Aufzüge, Maschinen und Spielzeug, verwendet werden.

Transparenzverpflichtungen nach EU AI Act im Überblick

Der EU AI Act führt zudem eine spezifische Reihe von Verpflichtungen für KI-Systeme ein, die oft als „KI-Systeme mit begrenztem Risiko“ bezeichnet werden. Diese Transparenzanforderungen erstrecken sich über alle Risikostufen.

Selbst wenn das System als risikoarm eingestuft wird, müssen Unternehmen diese Verpflichtungen erfüllen, wenn ihre KI mit Nutzern auf eine Weise interagiert, die unter Artikel 50, EU AI Act fällt. Die Systeme werden in erster Linie durch ihr Potenzial identifiziert, sich direkt auf die Nutzer auszuwirken, was zusätzliche Transparenz erfordert, um das Risiko von Täuschung oder Manipulation zu vermeiden. Zu den Anwendungsfällen gehören:

• Direkte Interaktion mit Nutzern: Wenn das System mit Nutzern kommuniziert, muss es klar angeben, dass es KI-gesteuert ist. Diese Regel gilt nicht, wenn dieser Umstand bereits offensichtlich ist oder eine Offenlegung entfällt, etwa aufgrund strafrechtlicher Ermittlungen.
• Schöpfer synthetischer Inhalte: KI-generierte Inhalte – ob Audio, Video, Bilder oder Text – müssen mit einer Kennzeichnung versehen werden. Diese sollte maschinenlesbar sein, auch wenn es Ausnahmen gibt, wie etwa redaktionelle Tools oder eine Verwendung durch Strafverfolgungsbehörden.
• Erkennung von Emotionen und biometrische Kategorisierung: Systeme, die Emotionen analysieren oder Personen auf der Grundlage biometrischer Daten kategorisieren, müssen andere Personen in ihrer Reichweite darüber informieren. Strafverfolgungsbehörden können diese Anforderung unter bestimmten Bedingungen umgehen.
• KI-generierte menschenähnliche Inhalte: Kreationen wie Deepfakes müssen klar über ihren KI-Ursprung informieren, es sei denn, sie sind Teil von Kunst, Satire oder Strafverfolgungsmaßnahmen.
• Öffentlich geteilter KI-generierter Text: Jeder KI-generierte Text, der der Öffentlichkeit zugänglich gemacht wird, muss als solcher gekennzeichnet werden, es sei denn, er wird von Menschen überprüft oder unterliegt bestimmten rechtlichen Ausnahmen.

Technologien zur Unterstützung des AI Compliance Managements

Für Unternehmen ist die korrekte Klassifizierung ihres KI-Systems der erste entscheidende Schritt, um ihre Compliance-Anforderungen zu identifizieren, Risiken abzumildern und sicherzustellen, dass das System den Höchststandards für eine transparente und ethische Nutzung entspricht.

Neueste Technologien wie eine Plattform, die AI Testing, AI Governance und Compliance Management vereint und eine kontinuierliche und automatisierte Überwachung der Einhaltung von Vorschriften, Standards und Richtlinien ermöglicht, kann Unternehmen hierbei maßgeblich unterstützen und stellt sicher, dass KI-Systeme rechtssicher, qualitativ hochwertig und ethisch vertretbar arbeiten. Auf dieser Basis können Unternehmen eine zukunftssichere KI-Strategie implementieren und das Potenzial künstlicher Intelligenz voll ausschöpfen.

Anil Tahmisoğlu ist AI Policy Consultant bei Validaitor.

Validaitor