Rechtlicher Hinweis
Die Inhalte dieses Artikels dienen ausschließlich allgemeinen Informationszwecken und stellen keine Rechtsberatung dar. Obwohl wir die Informationen mit größter Sorgfalt erstellen, übernehmen wir keine Gewähr für deren Richtigkeit, Vollständigkeit und Aktualität. Für eine verbindliche Beratung zu Deiner spezifischen Situation, wende Dich bitte an eine qualifizierte Rechtsanwältin oder einen qualifizierten Rechtsanwalt.
Die wichtigste Frage: Hochrisiko oder nicht?
Bei der Einführung eines KI-Systems im Unternehmen ist eine Frage entscheidender als alle anderen: Fällt das System in die Kategorie “Hochrisiko”? Die Antwort auf diese Frage bestimmt über Aufwand, Kosten und Dein rechtliches Risiko. Ein Hochrisiko-System unterliegt extrem strengen und teuren Auflagen. Ein System mit begrenztem Risiko hingegen hat nur überschaubare Transparenzpflichten.
Einfache Chat- und Sprachassistenten, deren Hauptzweck die Beantwortung von Kundenfragen ist, fallen in der Regel nicht unter die Hochrisiko-Bereiche in Anhang III des EU AI Acts. Für sie steht die Transparenzpflicht nach Art. 50 im Vordergrund. Ob das für Deinen Einsatz gilt, hängt davon ab, wie Du das System nutzt.
Die Komplexität beginnt jedoch, wenn fortschrittlichere Funktionen ins Spiel kommen. Könnte eine Stimmungsanalyse oder eine automatische Dringlichkeitserkennung Deinen KI-Assistenten zu einem Hochrisiko-System machen?
Wann wird ein Kommunikations-Tool zum Hochrisiko-System?
Der AI Act listet in seinem Anhang III die Bereiche auf, in denen KI-Systeme potenziell als hochriskant gelten. Für den Kundenservice sind vor allem zwei Punkte relevant: Systeme, die über den Zugang zu wesentlichen Dienstleistungen entscheiden, oder Systeme, die ein Profiling natürlicher Personen durchführen.
Hier entstehen die typischen Sorgenfalten:
- Wird eine Stimmungsanalyse (“Anrufer klingt verärgert”) als verbotene “Emotionserkennung” oder riskantes “Profiling” gewertet?
- Wenn die KI eine Dringlichkeit erkennt (“dringendes Anliegen”), entscheidet sie dann über den Zugang zu einer wesentlichen Dienstleistung?
Diese Befürchtungen sind verständlich. Ob sie zutreffen, hängt von Deinem konkreten Einsatz ab.
Der Schlüssel: Ist die KI nur ein Assistent für den Menschen?
Der AI Act sieht gezielte Ausnahmen vor, wann ein System trotz einer potenziellen Listung in Anhang III nicht als hochriskant gilt. Zwei dieser Ausnahmen sind für den Kundenservice entscheidend:
- Die KI dient dazu, das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern.
- Die KI führt eine vorbereitende Aufgabe für eine Bewertung durch, die letztlich von einem Menschen vorgenommen wird.
Hier liegt der Schlüssel. Ein Assistent, der nur vorbereitet und einem Menschen zur Entscheidung vorlegt, kann unter diese Ausnahmen fallen. Eine Stimmungsanalyse trifft dann keine autonome Entscheidung. Sie führt eine vorbereitende Aufgabe aus, indem sie einem menschlichen Mitarbeiter einen zusätzlichen Datenpunkt liefert (z. B. “Anrufer wirkt verärgert”). Der Mitarbeiter kann diese Information nutzen, um das Gespräch besser zu führen. Die Ausnahme gilt allerdings nicht, wenn das System ein Profiling natürlicher Personen durchführt. Ob Dein Einsatz unter eine Ausnahme fällt, prüfst Du selbst.
Dieses Prinzip der “Human-in-the-Loop-Augmentation” kann bei der Einstufung eine Rolle spielen. Es ersetzt nicht die Prüfung Deines konkreten Einsatzes. Die Risikoklasse hängt davon ab, wie Du das System einsetzt.
Der EU AI Act: Ein praxisnaher Guide für deutsche Unternehmen
Den eigenen Einsatz prüfen
Das Fazit für Dich als Unternehmer: Die Risikoklasse hängt davon ab, wie Du das System einsetzt, und Du bewertest Deinen eigenen Einsatz selbst.
Ein KI-Assistent wie beispielsweise Safina bereitet Informationen auf und legt sie dem Menschen zur Entscheidung vor. Weise Anrufer zu Beginn jedes Gesprächs darauf hin, dass sie mit einer KI sprechen. Das gehört zur Transparenzpflicht nach Art. 50 AI Act. Safina macht aber keine Aussage dazu, in welche Risikoklasse Dein Einsatz fällt. Prüfe Deinen Anwendungsfall und lass Dich bei Zweifeln rechtlich beraten.
