Die Deckungszusage, die niemand geschrieben hat

Merkmal	Ausprägung
Branche	Versicherung (Komposit und Leben, Vertrieb über Makler und Direktkanal)
Unternehmensgröße	rund 1.100 Mitarbeiter
Vorhaben	GenAI-gestützte Kundenkommunikation im Service- und Beschwerdemanagement
Laufzeit bis Kipppunkt	10 Monate, formales Projektende nach 12 Monaten
Versenkte Kosten (typisiert)	rund 350.000 Euro direkt, zuzüglich Rechts- und Aufarbeitungskosten
Scheiter-Muster	Governance-Lücke: kein Freigabeprozess, Fachbereich prescht vor, Aufsichtsrecht holt das Projekt ein

Diese Fallakte ist ein typisiertes, redaktionell verdichtetes Post-mortem: Unternehmen, Personen und Projektverlauf sind fiktiv, die Entscheidungen, Zahlen und Fehlermuster folgen dokumentierten Scheiter-Mustern aus Studien und veröffentlichten Projektberichten (Quellen am Ende).

Ausgangslage

Das Problem war real und drückte täglich. Im Kundenservice stauten sich Beschwerden, die Antwortzeiten lagen bei acht Werktagen, die Abteilung fand kein Personal. Der Leiter Kundenservice, ein anerkannt guter Operativer, testete privat ein GenAI-Werkzeug und war beeindruckt. Antwortentwürfe, die früher zwanzig Minuten kosteten, standen in zwei.

Er tat, was macherorientierte Führungskräfte tun: Er startete. Ein US-Cloud-Werkzeug, bezahlt per Firmenkreditkarte, unterhalb der Freigabegrenze des Einkaufs. Kein böser Wille, im Gegenteil. Die offiziellen Wege galten im Haus als langsam, und ein KI-Freigabeprozess existierte schlicht nicht. Wer hätte zuständig sein sollen, war nirgends geregelt.

Damit war die Konstellation komplett, die dieses Scheiter-Muster trägt: ein echter Schmerz, ein wirksames Werkzeug und keine Governance, die beides geordnet zusammenbringt. Die Studienlage zeigt, wie verbreitet sie ist. Der Work Trend Index 2024 fand 78 Prozent Beschäftigte, die eigene KI-Werkzeuge ohne Freigabe in die Arbeit tragen. Und Gartner nannte 2024 unzureichende Risikokontrollen als einen der vier Hauptgründe für GenAI-Projektabbrüche. In einem beaufsichtigten Haus wiegt diese Lücke doppelt.

Die Entscheidungen

Die Kette lief zehn Monate, ohne dass eine einzelne Station als Fehler auffiel.

Monat	Entscheidung	Was dabei überging
1	Leiter Kundenservice startet Pilot für Antwortentwürfe im Beschwerdemanagement, Bezahlung per Kreditkarte	Kein Einbezug von Datenschutz, IT-Sicherheit oder Compliance. Kein Auftragsverarbeitungsvertrag mit dem Anbieter.
3	Ausweitung auf laufende Bestandskorrespondenz, das halbe Team nutzt das Werkzeug	Mitarbeiter kopieren Schriftwechsel mit Vertrags- und Personendaten in ein US-Werkzeug, in Leistungsfällen auch Gesundheitsangaben. Übermittlung und Rechtsgrundlage prüft niemand.
5	Vorstand Vertrieb lobt die Antwortzeiten im Führungskreis, Budget für Integration ins Bestandssystem wird freigegeben	Der Vorstand adelt ein Projekt, das formal nicht existiert. IT und Compliance erfahren aus diesem Termin erstmals davon. Eine Risikoanalyse gibt es weiter nicht.
7	IT-Sicherheit meldet die Schatten-Nutzung; Kompromiss: Pilot läuft weiter, Prüfung parallel	Prüfung parallel statt vorab. Ein Prüfergebnis kann das Projekt jetzt nur noch stoppen, nicht mehr formen. Die Fallhöhe wächst mit jedem Tag Weiterbetrieb.
9	Datenschutzbeauftragte fordert Datenschutz-Folgenabschätzung und Vertragsanpassung; der Anbieter liefert Standardklauseln	Keine belastbare Zusage zur Trainingsdatennutzung, keine EU-Datenhaltung im gebuchten Tarif, keine Exit-Regelung. Das Team arbeitet trotzdem weiter, der Rückstau lässt keine Pause zu.
10	Compliance stuft den Prozess nach aufsichtsrechtlichem Maßstab ein: automatisierter Geschäftsablauf ohne Steuerung, Überwachung und Dokumentation	Zu diesem Zeitpunkt sind rund 40.000 Kundenvorgänge über das Werkzeug gelaufen. Nachvollziehbar dokumentiert ist keiner davon.
11	Sofortiger Stopp durch den Gesamtvorstand, Aufarbeitung beginnt	Die Aufarbeitung muss rückwärts rekonstruieren, was vorwärts nie dokumentiert wurde: welche Daten wohin flossen und welche Schreiben ungeprüft hinausgingen.

Der Kipppunkt

Der Kipppunkt war ein Brief, Monat 10. Ein Kunde bestand schriftlich auf einer Deckungszusage für einen Wasserschaden, unter Verweis auf ein Antwortschreiben des Hauses. Das Schreiben existierte. Es war formal einwandfrei, freundlich im Ton und sagte eine Regulierung zu, die der Vertrag nicht hergab. Der Entwurf stammte aus dem GenAI-Werkzeug. Ein überlasteter Sachbearbeiter hatte ihn ungeprüft freigegeben, an einem Tag mit über sechzig Vorgängen.

Die Beschwerde landete bei Recht und Compliance, und dort änderte sich die Natur des Problems. Aus einem Produktivitätswerkzeug wurde ein unbeherrschter Prozess mit Außenwirkung: rechtlich potenziell bindende Erklärungen, erzeugt von einem System, das niemand freigegeben, geprüft oder auch nur inventarisiert hatte. Die Compliance-Leiterin musste zusätzlich bewerten, was der Fall aufsichtlich bedeutet. Für automatisierte Abläufe mit Kundenwirkung verlangt die Aufsichtspraxis Steuerung, Überwachung und Nachvollziehbarkeit; die BaFin hat diese Erwartung 2025 in den Mindestanforderungen an die Geschäftsorganisation ausdrücklich festgeschrieben. Nichts davon war erfüllbar, weil nichts dokumentiert war.

Ab diesem Moment war das Projekt nicht mehr zu retten, nur noch zu beenden. Ein geordneter Rückbau in einen genehmigten Pilot hätte eine Dokumentationsbasis gebraucht, die es nie gab. Der Gesamtvorstand stoppte die Nutzung binnen 48 Stunden. Danach begann die teure Phase: die Prüfung einer Meldepflicht an die Datenschutzaufsicht, die Sichtung von zehn Monaten Korrespondenz auf weitere fehlerhafte Zusagen, die Regulierung des Wasserschadens aus Kulanz. Der Kipppunkt war nicht die Technik. Es war der Tag, an dem die Fiktion endete, man könne die Ordnung später nachholen.

Schadensbilanz

Posten	Betrag/Ausmaß (typisiert)	Einordnung
Werkzeugkosten, Integrationsbudget, interne Aufwände	rund 350.000 Euro	Inklusive der in Monat 5 freigegebenen, nie fertiggestellten Integration
Rechts- und Aufarbeitungskosten	rund 150.000 Euro	Externe Kanzlei, forensische Sichtung der Korrespondenz, Datenschutz-Aufarbeitung
Kulanzregulierungen	niedriger sechsstelliger Betrag	Der Wasserschaden und zwei weitere in der Sichtung gefundene fehlerhafte Zusagen
Opportunitätskosten	zwölf Monate Stillstand	Der Vorstand fror alle KI-Vorhaben ein, auch drei sauber aufgesetzte Ideen anderer Bereiche
Organisationsschaden	tiefgreifend	Kundenservice fühlt sich als Sündenbock, Compliance als Verhinderer. Beide Zuschreibungen sind falsch und beide halten sich.

Bemerkenswert ist der letzte Posten. Die Governance-Lücke war ein Versäumnis der Organisation, nicht einer Person. Bestraft fühlt sich aber der Bereich, der als einziger gehandelt hatte. Das prägt die Risikokultur des Hauses länger als jeder Geldbetrag.

Was der Vorstand hätte anders machen müssen

1. Vor dem Vorfall, grundsätzlich (Monat 0): Einen KI-Freigabeprozess mit klarer Zuständigkeit einrichten, bevor der erste Fachbereich startet. Nicht als Verbotsapparat, sondern als schneller Pfad: Anwendungsfall, Datenkategorien, Anbieterprüfung, Entscheid binnen weniger Wochen. Die Schatten-Nutzung von Monat 1 war die Folge des fehlenden legalen Wegs, nicht ihre Ursache.
2. Beim Lob im Führungskreis (Monat 5): Die Frage stellen, die niemand stellte: Wer hat das freigegeben, und auf welcher Datengrundlage läuft es? Dies war der letzte Zeitpunkt, das Vorhaben mit vertretbarem Aufwand in einen geordneten Pilot zu überführen: begrenzte Fallzahl, anonymisierte Daten, Prüfung vor Ausbau.
3. Beim Kompromiss mit der IT-Sicherheit (Monat 7): Weiterbetrieb nur mit sofortigen Leitplanken zulassen: keine Gesundheitsdaten, Vier-Augen-Freigabe für jedes ausgehende Schreiben, Protokollierung aller Vorgänge. Diese drei Regeln hätten den Kipppunkt von Monat 10 verhindert und wären in einer Woche umsetzbar gewesen.
4. Bei der Anbieter-Antwort (Monat 9): Den Standardvertrag als Befund behandeln. Ein Anbieter, der weder Trainingsdatenverzicht noch EU-Datenhaltung zusagt, ist für Versicherungskorrespondenz kein tragfähiger Partner. Pausieren und Anbieterwechsel wären teuer gewesen, aber billiger als jeder Monat danach.

Übertragbare Lehren

FAQ

Ein Fachbereich nutzt bereits ohne Freigabe ein GenAI-Tool mit Kundendaten. Was mache ich jetzt zuerst?

Zuerst den Datenfluss stoppen oder eng begrenzen: keine besonderen Datenkategorien mehr, menschliche Prüfung vor jedem Versand, Protokollierung ab sofort. Parallel eine Bestandsaufnahme ohne Schuldzuweisung: welches Werkzeug, welche Daten, wie viele Vorgänge, welcher Vertrag. Danach entscheiden Datenschutz und Compliance, ob eine Meldepflicht zu prüfen ist. Wichtig ist die Botschaft an den Fachbereich: Der Bedarf war berechtigt, der Weg nicht. Wer nur bestraft, treibt die Nutzung tiefer in den Schatten.

Welche Anforderungen stellt der EU AI Act an GenAI in der Kundenkommunikation einer Versicherung?

Nach der KI-Verordnung (Stand Juli 2026, als Orientierung, keine Rechtsberatung) greifen für KI-Kundenkommunikation vor allem Transparenzpflichten: Kunden müssen erkennen können, dass sie mit einem KI-System interagieren; diese Pflichten gelten ab dem 2. August 2026. Hochrisiko-Einstufungen betreffen im Versicherungsumfeld vor allem Risikoprüfung und Preisbildung in Leben und Kranken; deren Fristen verschieben sich nach dem Digital Omnibus voraussichtlich auf Ende 2027. Daneben gelten die branchenspezifischen Anforderungen an Geschäftsorganisation und IKT-Risikomanagement unabhängig vom AI Act weiter.

Brauchen wir für einen GenAI-Piloten im Kundenservice wirklich schon eine Datenschutz-Folgenabschätzung?

In der Regel ja, sobald personenbezogene Kundendaten systematisch verarbeitet werden, und im Versicherungskontext fast immer. Leistungsfälle enthalten häufig Gesundheitsangaben, also besondere Kategorien nach Artikel 9 DSGVO. Die Folgenabschätzung ist dabei weniger Bürokratie als Frühwarnsystem: Sie zwingt vor dem Start zu den Fragen, die im geschilderten Fall erst in Monat 9 gestellt wurden. Wo landet die Übermittlung, was macht der Anbieter mit den Daten, wie kommen wir wieder heraus. Ein Pilot mit anonymisierten oder synthetischen Daten senkt den Aufwand erheblich.

Sind Zusagen rechtlich bindend, die ein KI-System in unserem Namen an Kunden schreibt?

Das Risiko ist real und wird oft unterschätzt. Erklärungen, die ein Unternehmen über seine Kommunikationskanäle abgibt, werden ihm grundsätzlich zugerechnet, unabhängig davon, ob ein Mensch oder ein System den Text formuliert hat. Ob eine einzelne Zusage im Streitfall bindet, hängt vom Einzelfall ab; verlassen sollte man sich darauf nicht. Die praktische Konsequenz: menschliche Freigabe vor jedem rechtserheblichen Schreiben, klare Grenzen, was das System zusagen darf, und Stichprobenkontrollen. Dies ist eine Orientierung, keine Rechtsberatung.

Wie baue ich einen KI-Freigabeprozess auf, der schützt, ohne jedes Vorhaben auszubremsen?

Zweistufig und mit Fristen. Stufe eins: ein kurzes Intake-Formular je Vorhaben mit Anwendungsfall, Datenkategorien, Anbieter und Außenwirkung; risikoarme Fälle wie interne Textentwürfe ohne Personendaten werden binnen einer Woche freigegeben. Stufe zwei: Vorhaben mit Kundendaten oder Außenwirkung durchlaufen Datenschutz-, Sicherheits- und Compliance-Prüfung mit verbindlicher Frist von vier bis sechs Wochen. Entscheidend sind drei Dinge: eine benannte zuständige Stelle, ein KI-Inventar als Nebenprodukt jedes Antrags, und Service-Level, die der Prozessowner öffentlich verantwortet. Ein Freigabeprozess ohne Frist ist ein Verbot mit Umwegen.

Quellen der typisierten Muster

1. Gartner (2024): „Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept By End of 2025“, unzureichende Risikokontrollen als einer von vier Hauptabbruchgründen. https://www.gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025
2. Microsoft/LinkedIn (2024): „Work Trend Index 2024“, 75 Prozent der Wissensarbeiter nutzen generative KI, 78 Prozent davon bringen eigene Werkzeuge ohne Freigabe mit („BYOAI“). https://www.microsoft.com/en-us/worklab/work-trend-index/ai-at-work-is-here-now-comes-the-hard-part
3. BaFin (2025): Rundschreiben 09/2025 (VA), Mindestanforderungen an die Geschäftsorganisation (MaGo für SII-VU), Abschnitt zu automatisierten Geschäftsabläufen, Anforderungen an Identifizierbarkeit, Steuerung, Überwachung und Eingriffsmöglichkeiten, ausdrücklich auch für KI-gestützte Verfahren. https://www.bafin.de/SharedDocs/Veroeffentlichungen/DE/Rundschreiben/2025/rs_rundschreiben_09_25_va.html
4. BaFin (2025): Rede der Exekutivdirektorin Versicherungsaufsicht, „KI in der Versicherungsbranche: Die Verantwortung liegt bei den Unternehmen“, Governance-Erwartung der Aufsicht, Einordnung von KI in bestehende Regulierung, AI-Act-Pflichten ab 2. August 2026. https://www.bafin.de/SharedDocs/Veroeffentlichungen/DE/Reden/re_250306_Rede_EDinVA_Vorlesungstag_IFVW.html
5. Europäische Union (2024): Verordnung (EU) 2024/1689 (KI-Verordnung), insbesondere Transparenzpflichten nach Artikel 50; Fristenlage Stand Juli 2026 inklusive Digital Omnibus on AI (Verschiebung Anhang III auf 02.12.2027, Amtsblatt ausstehend). https://eur-lex.europa.eu/eli/reg/2024/1689/oj
6. RAND Corporation (2024): „The Root Causes of Failure for Artificial Intelligence Projects“, über 80 Prozent Fehlschlagquote; Führungs- und Prozessversagen als häufigste Ursachenkategorie. https://www.rand.org/pubs/research_reports/RRA2680-1.html

Das Entscheider-Briefing

Ein Briefing pro Woche: Entscheidungsfragen, eingeordnete Zahlen und Fristen. Ihre Adresse geben wir nicht weiter.

Website

E-Mail-Adresse

Briefing abonnieren

Ich möchte das Briefing per E-Mail erhalten und kann die Einwilligung jederzeit widerrufen. Die Datenschutzerklärung habe ich gelesen.

Sie erhalten zuerst eine E-Mail mit einem Bestätigungslink. Erst nach dem Klick nehmen wir Sie auf. Abmeldung mit einem Klick in jeder Ausgabe.