Künstliche Intelligenz im Unternehmen: die größten HerausforderungenRolle der Generativen KI im Versicherungssektor

Die Generative KI (GenAI) bietet Versicherungsunternehmen große Chancen. Sie können mit der vielseitigen Technologie beispielsweise ihren Kundenservice persönlicher gestalten, Versicherungsprodukte individueller auf Zielgruppen zuschneiden und interne Abläufe sowie Entscheidungen verbessern.

Versicherungsunternehmen aber auch andere Organisationen müssen KI-Systeme sorgfältig entwickeln und implementieren, denn so beeindruckend GenAI auch ist: Der Einsatz geht mit Herausforderungen einher, die Versicherungsunternehmen proaktiv angehen müssen, um Risiken zu minimieren. Dabei gehören die folgenden Herausforderungen zu den wichtigsten:

• Datenschutz: Das Training und Fine-Tuning von großen Sprachmodellen, auf denen Generative KI basiert, erfordert viele Daten. Setzen Versicherungsunternehmen auch Kundenkorrespondenz, Schadensmeldungen und andere Informationen ein, die personenbezogene Daten enthalten, müssen sie darauf achten, die DSGVO nicht zu verletzen. Ist es nicht möglich, die Daten zu anonymisieren, benötigen sie eine Rechtsgrundlage für die Verarbeitung nach Artikel 6 der DSGVO, beispielsweise die Einwilligung der Betroffenen, und müssen die in den Artikeln 13 und 15 aufgeführten Informations- und Auskunftspflichten beachten. Darüber hinaus ist es notwendig, angemessene Sicherheitsmaßnahmen nach Artikel 32 zu ergreifen, um die Vertraulichkeit und Integrität der Daten zu schützen. Das umfasst auch die Auswahl der Modelle, damit personenbezogene Daten nicht außerhalb der EU gespeichert und verarbeitet werden.
• Urheberrecht: Die meisten großen Sprachmodelle wurden mit frei im Internet verfügbaren Informationen trainiert und damit in der Regel auch mit Werken, die urheberrechtlich geschützt sind. Einige Klagen von Urhebern gegen die Anbieter solcher Modelle laufen bereits, doch auch die darauf basierenden GenAI-Anwendungen sind grundsätzlich abmahnbar. Für Unternehmen ist das ein enormes Risiko, insbesondere wenn sie die Modelle weiterentwickelt oder ein Fine-Tuning mit eigenen Daten vorgenommen haben. Sie laufen Gefahr, die Modelle künftig nicht mehr verwenden zu dürfen oder Nutzungsgebühren zahlen zu müssen, wenn sie die Grundlage wichtiger Geschäftsprozesse nicht verlieren wollen. Die Eingaben in GenAI-Anwendungen, die sogenannten Prompts, fallen hingegen ebenso wenig wie die Ausgaben unter das Urheberrecht. Das macht es für Unternehmen schwer, intern erbrachte Leistungen zu schützen. Zwar lässt sich in Arbeits- oder Aufhebungsverträgen regeln, dass für das Unternehmen erstellte Prompts dessen Eigentum sind – dass ausscheidende Mitarbeitende bei einem neuen Arbeitgeber ähnliche Prompts schreiben, lässt sich indes kaum verhindern.
• EU AI Act: Mit dem EU AI Act kommen weitere regulatorische Vorgaben auf die Versicherungsbranche zu. Deren KI-Systeme im Bereich der Lebens- und Krankenversicherungen beispielsweise zählen zu den „Hochrisiko-KI-Systemen“, für die strenge Auflagen gelten, unter anderem hinsichtlich Qualität der Trainingsdaten, Dokumentation, Risikomanagement und Sicherheit. Bei Verstößen drohen empfindliche Geldbußen und Reputationsschäden. Deshalb müssen Versicherungsunternehmen sicherstellen, dass sie die Vorgaben einhalten, etwa indem sie ein Risikomanagement aufbauen, Hochrisiko-KI unter menschliche Aufsicht stellen und allen Informations- sowie Transparenzpflichten nachkommen. Darüber hinaus sind sie zu einer Grundrechte-Folgenabschätzung verpflichtet, in deren Rahmen mögliche Risiken für die Rechte von Personen bewertet und Maßnahmen festgelegt werden, die beim Eintreten dieser Risiken einzuleiten sind. Da die EU mit dem AI Act sowohl die Anbieter als auch die Betreiber von KI-Systemen in die Pflicht nimmt, müssen Versicherungsunternehmen die Vorgaben nicht nur für selbst entwickelte, sondern auch für Systeme umsetzen, die sie lediglich nutzen, sprich: Es gilt, Anbieter sorgfältig auszuwählen. Zwar sieht der EU AI Act einen Prüf- und Zertifizierungsprozess vor, der die Auswahl vereinfacht – dieser befindet sich allerdings noch in der Entwicklung.
• Cybersecurity: Versicherungsunternehmen, die GenAI einsetzen, müssen die Technologie in ihre Sicherheitskonzepte integrieren. Hier geht es unter anderem darum, Datenschutzverletzungen und den Abfluss vertraulicher Daten bei der Nutzung externer KI-Dienste zu vermeiden und Manipulationen an selbst entwickelten Modellen und deren Trainingsdaten zu verhindern. Darüber hinaus wirkt sich GenAI auch auf das Versicherungsgeschäft aus, da die Versicherung von Cyberrisiken komplexer wird. Schließlich nutzen Cyberkriminelle Generative KI unter anderem zur Verfeinerung ihrer Phishing-Kampagnen, für Betrugsversuche mit Deepfakes und zur kontinuierlichen Veränderung von Malware, um die Erkennungsmechanismen von Sicherheitslösungen auszutricksen. Damit sind Anpassungen im Risikomanagement notwendig, doch es fehlen bislang ausreichend Erfahrungswerte beziehungsweise historische Daten für eine präzise Kalkulation von Risiken, Eintrittswahrscheinlichkeiten und Prämien.
• Erklärbarkeit: Große Sprachmodelle agieren in der Regel als Black Box, das heißt, es ist nicht nachvollziehbar, wie sie zu ihren Ausgaben und Entscheidungen kommen. Das kann zu Compliance-Risiken führen, da etwa der EU AI Act explizit Transparenz und Erklärbarkeit für Hochrisiko-KI-Systeme einfordert. Zudem drohen Akzeptanzprobleme und Frust bei Kunden, wenn Entscheidungen als unfair oder diskriminierend empfunden werden und Versicherungsunternehmen die Vorwürfe nicht ausräumen können. Eine Möglichkeit, dies zu verhindern, ist es, die KI-Systeme so zu gestalten, dass sie ihre Ausgaben mit Quellenangaben versehen, sodass Mitarbeitende die Ergebnisse überprüfen können.
• Akzeptanz: Neue Tools und Technologien treffen in der Belegschaft bisweilen auf Widerstand, weil sich gewohnte Aufgaben und Prozesse verändern oder Mitarbeitende fürchten, überflüssig zu werden. Vor allem KI und Generative KI können solche Ängste schüren, da sie ein enormes Automatisierungspotenzial bieten. Versicherungsunternehmen sollten Mitarbeitende daher frühzeitig in ihre KI-Pläne einbeziehen und Aufklärungsarbeit leisten – also erklären, wie KI-Tools die Mitarbeitenden bei langweiligen oder repetitiven Aufgaben entlasten, sodass sie mehr Zeit für spannendere, sinnstiftendere Tätigkeiten haben. Oder wie sie ihnen bessere Entscheidungen ermöglichen, da es durchaus Bereiche gibt, in denen KI nicht entscheiden soll oder darf – aus ethischen Gründen oder weil DSGVO und EU AI Act dies verbieten.
• Modellgrenzen: KI-Modelle bilden immer nur einen Teil der Realität ab und können bei Daten, die sich deutlich von den Trainingsdaten unterscheiden, auf unvorhergesehe Art und Weise reagieren. Beispielsweise indem sie plausibel erscheinende Antworten erfinden – ein Phänomen, das als Halluzination bezeichnet wird. Unternehmen müssen daher Mechanismen implementieren, die sogenannte „Out of Distribution“-Daten erkennen, um fehlerhafte Ausgaben zu verhindern. Darüber hinaus müssen sie die Trainingsdaten sorgfältig auswählen und auf eine ausgewogene, hochwertige Datenbasis achten. Andernfalls kann ein Modell verzerrte Antworten liefern, die ethnische, religiöse oder andere Gruppen benachteiligen. Fehlen hochwertige Trainingsdaten in ausreichender Menge, können Modelle auch mit synthetischen Daten trainiert werden, allerdings kann es dabei zu einem „Model Collapse“ kommen, wenn die synthetischen Daten nicht vielfältig genug sind oder nicht der Datenverteilung in der echten Welt entsprechen.

Versicherungsunternehmen können es sich kaum leisten, auf Generative KI zu verzichten – allein schon, um dem Fachkräftemangel entgegenzuwirken und effizienter zu werden. Da das Thema allerdings mit Risiken verbunden ist, sollten Organisationen es nicht überstürzt angehen, sondern Governance-Prozesse aufsetzen, um die Risiken systematisch zu minimieren – sowohl für neue als auch bestehende GenAI-Anwendungen.

Elischa Göttmann ist Principal Solutions Consultant bei Pegasystems.

Pegasystems