EU AI Act: „Versicherer werden nicht umhinkommen, eine effektive KI-Governance aufzubauen.“
Der EU AI Act bringt für Versicherer weitreichende Veränderungen: KI-Systeme müssen strenger reguliert, dokumentiert und Risiken systematisch bewertet werden. Eine effektive KI-Governance wird dabei unerlässlich, um Compliance sicherzustellen und Chancen verantwortungsvoll zu nutzen.

In einer Welt, in der künstliche Intelligenz (KI) zunehmend zum Treiber der digitalen Transformation wird, stehen Versicherungsunternehmen vor der Herausforderung, innovative Technologien zu nutzen, während sie gleichzeitig die Datenschutzvorschriften der DSGVO und des neuen EU AI Act einhalten. Mit Rechtsanwalt Stephan Schuldt haben wir über die Folgen für Versicherer gesprochen.
Welche Auswirkungen hat der EU AI Act auf die Verwendung von KI in Versicherungsunternehmen und wie bereiten sich diese darauf vor?
Der EU AI Act reguliert den Einsatz von KI und ist insoweit weltweit die erste gesetzliche Regulatorik dieser Art im Hinblick auf den Einsatz von Künstlicher Intelligenz. Diese regulatorischen Anforderungen sind von Versicherungen, auch aufsichtsrechtlich, einzuhalten. Dies beinhaltet im Einzelfall verschiedene Anforderungen aus dem AI-Act. Der EU AI Act sieht eine Klassifizierung von KI-Systemen basierend auf ihrem Risikograd vor und führt entsprechende Vorgaben ein, die sich auf Sicherheit, Transparenz und Nichtdiskriminierung konzentrieren.
Zu den konkreten Auswirkungen gehören insoweit insbesondere, dass Versicherungen zu dokumentieren haben, wo und wie KI im Unternehmen eingesetzt wird (insbesondere: welche KI-Lösungen zu welchen Zwecken). Die Entwicklung eigener Tools und Lösungen sollte auf Basis von internen Entwicklungs- und Transparenzvorgaben erfolgen. Die Tools (externe wie interne) sind einer Risikobewertung zu unterziehen, aus dessen Ergebnis sich verschiedene Anforderungen aus dem AI Act ergeben. Dazu gehören insbesondere Dokumentationspflichten, Transparenzpflichten und Überwachungspflichten.
Der EU AI Act stuft KI-Systeme in verschiedene Risikoklassen ein. Die Einstufung reicht von grundsätzlich unzulässigen KI-Systemen bis zu KI-Systemen, die lediglich ein geringes oder gar kein Risiko aufweisen. Je nachdem, in welche Kategorie ein System fällt, müssen Versicherungs-) Unternehmen bestimmte Verpflichtungen erfüllen. Versicherer haben daher sicherzustellen, dass die von ihnen eingesetzten KI-Systeme korrekt nach den Risikoklassen des AI Acts klassifiziert werden, um die aus der jeweiligen Klassifizierung folgenden bestimmten Verpflichtungen erfüllen zu können.
Wie gehen Versicherungsunternehmen mit den rechtlichen Risiken um, die durch fehlerhafte oder voreingenommene KI-Entscheidungen entstehen können?
Ein effizientes Risikomanagement zum Einhalten der Anforderungen aus dem EU AI Act hat im Kern (grob zusammengefasst) zwei Schwerpunkte: Dokumentation und Transparenz. Es kommt weniger darauf an, dass ein KI-System perfekt funktionieren muss und andernfalls der Anbieter für Fehler haftet. Entscheidend ist, dass die (ggf. massenhaften) Fehler nicht auf einer unzutreffenden Berücksichtigung der Anforderungen des EU AI Act beruhen. Zum Risikomanagement gehört insoweit z.B. zunächst eine Dokumentation der etwaigen (denkbaren) Risiken. Ein wichtiger Aspekt ist ferner die Gewährleistung einer hinreichenden Transparenz. Dazu gehört, die Art der KI-Lösung intern zu verstehen und zu dokumentieren. Dies stößt bei KI-Lösungen auf Basis von Deep-Learning naturgemäß auf Grenzen; insbesondere beim Einsatz von Tools von Drittanbietern, bei denen ein technisches Nachvollziehen der Lösungen teils nicht möglich ist, weil entsprechende Informationen bereits (berechtigt) nicht bereitgestellt werden. Die Anforderung ist insoweit aber auch kein 100-prozentiges „Verstehen“ der Lösung. Jede (sinnvolle) Transparenz und Dokumentation minimiert die Risiken ungleich besser, als keine oder eine grob oberflächliche Dokumentation. Beispielsweise sollten insbesondere – soweit möglich - die verwendeten Algorithmen und Daten dokumentiert werden, um im Falle von Streitigkeiten eine Erklärung dafür liefern zu können, warum eine bestimmte Entscheidung getroffen wurde. Die Implementation und Dokumentation eines Fehlermanagements (Kontroll- und Anpassungsprozesse) ist ebenso ein sinnvoller Baustein.
Wie sollten Versicherer die Compliance-Anforderungen des EU AI Acts umsetzen?
Versicherer werden nicht umhinkommen, eine effektive KI-Governance aufzubauen. Der Begriff KI-Governance umfasst dabei die Gesamtheit der Regeln, Prozesse und Strukturen, welche die Entwicklung, den Einsatz bzw. die Überwachung von KI in einer Organisation steuern. Das Ziel von KI-Governance besteht darin, sicherzustellen, dass die KI-Anwendungen ethischen, rechtlichen und qualitativen Anforderungen entsprechen, Risiken zu minimieren und Chancen zu maximieren, die sich durch den Einsatz von KI für Versicherungen ergeben. Dazu gehört z.B.
- Förderung einer positiven KI-Kultur: Es ist ratsam, eine Kultur zu schaffen, die Innovationen und Verantwortung in Bezug auf KI fördert. Dies kann durch Schulungen und Weiterbildungsprogramme erreicht werden, die nicht nur technische Aspekte von KI abdecken, sondern auch rechtliche und ethische Fragestellungen und potenzielle Risiken thematisieren.
- Use-Case-Management: Der AI Act verfolgt einen risikobasierten Ansatz, im Rahmen dessen verschiedene Use-Cases in unterschiedliche Risikokategorien eingeteilt werden. Versicherer können z.B. durch ein geeignetes „Use-Case-Management“ sicherstellen, dass Use-Cases korrekt nach den Risikokategorien des AI Acts klassifiziert werden.
- Risikomanagement: Versicherungen sollten potenzielle Risiken im Zusammenhang mit ihren KI-Systemen identifizieren, bewerten und priorisieren. Regelmäßige Risikobewertungen helfen, negative Auswirkungen auf Privatsphäre, Sicherheit und Fairness zu minimieren. Maßnahmen wie Datenmanagement, Sicherheitsprotokolle und Fairness-Tests können sinnvolle Bausteine sein.
- Implementierung eines Compliance-Programms: Sinnvoll kann auch ein KI-Governance-Framework sein, das den vollständigen Lebenszyklus von KI berücksichtigt, angefangen bei der Ideenfindung über die Entwicklung und den Betrieb bis hin zur Überwachung und Optimierung.
Für jede dieser Phasen sind spezifische Richtlinien und Verfahren für den Umgang mit KI sinnvoll. Die Einhaltung dieser Prinzipien und Maßnahmen sollte durch regelmäßige Audits überprüft werden. Zudem sollte das Compliance-Programm die Rollen und Verantwortlichkeiten der beteiligten Akteure, die erforderlichen Ressourcen und das Budget, die eingesetzten Methoden und Werkzeuge sowie Richtlinien für Dokumentation und Berichterstattung definieren. Dabei ist es ratsam, dass Unternehmen durch gezielte Schulungen sicherstellen, dass ihre Mitarbeiter umfassend über die Compliance-Anforderungen informiert sind, um diese optimal umzusetzen.
Welche Auswirkungen hat der EU AI Act auf die Verwendung von KI im Arbeits- und Kundenverhältnis allgemein?
Es gelten zunächst die allgemeinen Anforderungen, die aus den vorherigen Antworten ergeben. Im Hinblick auf KI im Kundenverhältnis ist insbesondere folgendes zu berücksichtigen: Es ist für die Risikoklassifizierung essentiell, zu dokumentieren, welche Ziele (Arbeitsergebnisse) die KI-Lösung im Kundenverhältnis auf Basis welcher Trainingsdaten hat. Die rechtliche Reichweite der Arbeitsergebnisse ist zu dokumentieren. Dazu als Beispiel: Die automatisierte Beantwortung von Kundenanfragen (z.B. Schadenmeldung), die eine automatisierte Antwort mit rechtlichem Erklärungsgehalt (z.B. Ablehnung Schadensfall) zur Folge hat, ist gänzlich anders zu bewerten, als eine automatisierte Vor-Klassifizierung von Posteingängen. Die Auswirkungen sind im Übrigen vielschichtig.
Insoweit auszugsweise: KI-Systeme, die von Versicherern zur Preisgestaltung und Risikobewertung eingesetzt werden, fallen gemäß Art. 6 Abs. 2 KI-VO i. V. m. Anhang III Ziffer 5 grundsätzlich unter die Hochrisiko-KI-Systeme. Entscheidend ist insoweit z.B. die Bewertung auf erster Ebene, ob das Merkmal der „Preisgestaltung“ überhaupt erfüllt ist. KI-Systeme, die Entscheidungen im Personalwesen treffen, sind in der Regel ebenfalls als Hochrisiko-KI im Sinne von Art. 6 AI Act zu qualifizieren. Gemäß Art. 6 Abs. 2 AI Act i. V. m. Anhang III Ziffer 4 sind insbesondere KI-Systeme zur Rekrutierung und Auswahl (KI-Systeme zur gezielten Bekanntmachung von Stellenausschreibungen, KI-Systeme zum Sichten und Filtern von Bewerbungen, KI-Systeme zur Bewertung von Bewerbern in Vorstellungsgesprächen oder Tests), KI-Systeme zum Personalmanagement (KI-Systeme zur Entscheidung über Arbeitsbedingungen, Beförderungen und Kündigungen von Arbeitsverhältnissen, KI-Systeme zur Aufgabenzuweisung und KI-Systeme zur Überwachung und Bewertung der Leistungen und des Verhaltens von Personen in Beschäftigungsverhältnissen) als Hochrisiko-KI-Systeme zu qualifizieren. Versicherungen werden daher beim Einsatz von KI-Systemen im Arbeits- und Kundenverhältnis ggf. öfters die „strengste Ebene“ der Compliance-Anforderungen des AI Acts erfüllen müssen, die dann einschlägig sind, wenn es sich um „Hochrisikosysteme“ handelt.
Vielen Dank für das Interview!