AI Center of Excellence oder föderiertes Modell: zwölf Entscheidungskriterien

Kurzantwort

Die Organisationsfrage lässt sich als Sachentscheidung führen, nicht als Glaubensfrage. Zwölf prüfbare Kriterien — von Risikoprofil über Domänenheterogenität bis Senior-Kapazität — zeigen, welches Modell zum eigenen Portfolio passt. Kontrollen, Inventar und Plattform gehören fast immer in eine zentrale Hand. Die Verantwortung für einzelne Anwendungsfälle gehört dorthin, wo Fachwissen und Daten sitzen. Für die meisten Mittelständler ergibt das einen Hybrid mit schriftlich fixierter Schnittstelle, der jährlich neu bewertet wird.

Die Kernaussagen

• Risiko- und Datenkontrollen werden in der Praxis am häufigsten voll zentralisiert; Talent und Adoption laufen hybrid (McKinsey 2025).
• Ein CoE ohne Budget- und Vetorechte verkommt zur internen Beratungsstelle, die Fachbereiche umgehen.
• Föderation ohne zentrales Inventar erzeugt Schatten-KI, doppelte Verträge und nicht auditierbare Systeme.
• Das Scoring der zwölf Kriterien dauert einen halben Tag und macht die Entscheidung dokumentierbar.
• Die gewählte Form ist eine Hypothese auf zwölf Monate — Warteschlangen und Schattenbeschaffung sind die Messgrößen für die Revision.

Warum die Frage jetzt zählt

Die Organisationsfrage ist im DACH-Raum angekommen. In einer Befragung von 223 IT-Entscheidern haben 44 Prozent bereits ein AI Center of Excellence aufgebaut, weitere zehn Prozent planen es (Studie „Gen AI — Die neue Realität in der IT-Organisation 2026+“, Computerwoche 2025). Zugleich zeigt dieselbe Erhebung ein gespaltenes Bild: 49 Prozent wollen KI-Kompetenz zentral in der IT bündeln, ebenso viele wollen sie auf Rollen im Unternehmen verteilen.

Der globale Befund passt dazu. McKinsey zufolge zentralisieren Unternehmen Risiko-, Compliance- und Daten-Governance am häufigsten vollständig, oft in Form eines CoE. Technisches Talent und die Einführung von Lösungen laufen dagegen meist hybrid (McKinsey, The State of AI, 2025). Gartner ergänzt die Reifeperspektive: Rund 60 Prozent der Organisationen mit hoher KI-Reife haben Strategie, Governance, Daten und Infrastruktur zentralisiert, und 45 Prozent von ihnen halten KI-Systeme drei Jahre oder länger produktiv, gegenüber 20 Prozent bei geringer Reife (Gartner 2025).

Der Druck kommt von zwei Seiten. Erstens erreichen laut Gartner im Schnitt nur 48 Prozent der KI-Projekte die Produktion, mit acht Monaten Weg vom Prototyp dorthin (Gartner 2024). Wer schlecht organisiert ist, verliert genau hier. Zweitens verlangt die Verordnung (EU) 2024/1689 für Hochrisiko-Systeme ab August 2026 Risikomanagement, Dokumentation und menschliche Aufsicht. Diese Nachweise muss irgendjemand führen. Die Organisationsentscheidung legt fest, wer.

Drei Grundmodelle und ihre typischen Fehlformen

Ein AI Center of Excellence (CoE) ist ein zentrales Team, das Kompetenz, Standards, Plattform und oft auch Umsetzung bündelt. Das föderierte Modell verteilt die Verantwortung für Anwendungsfälle auf die Fachbereiche, verbunden durch gemeinsame Mindeststandards. Der Hybrid kombiniert beides: zentrale Kontrollen und Plattform, dezentrale Use-Case-Verantwortung. In der angelsächsischen Literatur heißt das Muster Hub-and-Spoke, ein Kern mit Speichen in die Bereiche.

Jedes Modell hat eine charakteristische Fehlform. Das CoE degeneriert zur Warteschlange: Alle Vorhaben laufen durch ein Nadelöhr, die Fachbereiche warten Monate und beginnen, am CoE vorbei zu beschaffen. Die Föderation degeneriert zum Wildwuchs: Jeder Bereich kauft eigene Werkzeuge, niemand kennt den Gesamtbestand, Kontrollen existieren auf Folien. Der Hybrid degeneriert zur Unklarheit: „Zentral“ und „föderiert“ sind nie definiert worden, also entscheidet im Konfliktfall die lautere Stimme.

Modell	Stärke	Typische Fehlform	Frühwarnsignal
CoE (zentral)	Standards, Bündelung knapper Seniorität, Auditierbarkeit	Nadelöhr, Praxisferne	Wartezeit auf CoE-Slots wächst quartalsweise
Föderiert	Fachnähe, Tempo, Ownership im Bereich	Schatten-KI, Inkonsistenz	Zweite und dritte Beschaffung desselben Werkzeugtyps
Hybrid	Kontrolle zentral, Umsetzung fachnah	Zuständigkeits-Grauzone	Eskalationen landen ungeklärt bei der Geschäftsführung

Die Datenlage stützt keinen Absolutismus. In einer Befragung von MIT Technology Review Insights beschrieben 70 Prozent der Unternehmen mit reifen KI-Programmen ihre Nutzung als föderiert, und zugleich 48 Prozent als in einer Abteilung zentralisiert, weil beides parallel existiert (MIT Technology Review Insights 2023). Reife Organisationen trennen also die Ebenen: Was der Kontrolle dient, ist zentral. Was der Wertschöpfung dient, ist nah am Fach.

Wer die Organisationsdebatte als „CoE ja oder nein“ führt, hat die Frage schon falsch gestellt. Die richtige Frage lautet: Welche Aufgaben dürfen auf keinen Fall dezentral erledigt werden, und wer erledigt den Rest?

Die zwölf Kriterien im Einzelnen

Die folgenden Kriterien sind so gebaut, dass jede Ausprägung mit Ist-Daten belegbar ist. Jedes Kriterium wird mit 0, 1 oder 2 Punkten in Richtung Zentralisierung bewertet: 2 bedeutet „spricht klar für zentrale Bündelung“, 0 bedeutet „spricht klar für Föderation“, 1 ist neutral.

Nr.	Kriterium	Leitfrage	Spricht für zentral (2)	Spricht für föderiert (0)
1	Risikoprofil	Wie viele Vorhaben fallen voraussichtlich in hohe Risikoklassen der Verordnung (EU) 2024/1689?	Mehrere Hochrisiko-Kandidaten (etwa HR-Auswahl, Kreditentscheidungen)	Nur Assistenz- und Recherchefälle mit geringem Risiko
2	Domänenheterogenität	Wie verschieden sind Fachlogik und Daten der Anwendungsfälle?	Ähnliche Muster (Dokumente, Text, Service)	Stark verschiedene Domänen (Konstruktion, Einkauf, Labor)
3	Parallelität	Wie viele Vorhaben laufen oder starten in zwölf Monaten?	Wenige (unter fünf), bündelbar	Viele (über zehn), ein Team wäre Nadelöhr
4	Plattform- und Integrationsreife	Existieren APIs, Identitätsmanagement, zentrales Logging?	Schwach, erst Fundament bauen, zentral	Solide, Bereiche können sicher andocken
5	Senior-Kapazität zentral	Gibt es intern Architektur- und Evaluationserfahrung für ein Kernteam?	Ja, zwei bis vier Senior-Profile verfügbar	Nein, ein CoE wäre nur dem Namen nach besetzt
6	KI-Kompetenz im Fachbereich	Können Bereiche Vorhaben eigenverantwortlich führen?	Kaum Erfahrung, hoher Anleitungsbedarf	Erfahrene Product Owner und Datenverantwortliche vorhanden
7	Gemeinsame Plattformbausteine	Wie viele Vorhaben nutzen dieselben Bausteine (Modellzugang, Suche, Auswertung)?	Hoher Überlapp, Mehrfachbau wäre Verschwendung	Geringer Überlapp, Bausteine sind fallspezifisch
8	Nachweis- und Auditdruck	Verlangen Kunden, Aufsicht oder Zertifizierungen belastbare Nachweise?	Hoch (regulierte Kunden, ISO/IEC 42001 angestrebt)	Niedrig, keine externen Prüfpflichten absehbar
9	Datenlage	Liegen relevante Daten zentral oder in Bereichssilos mit eigener Hoheit?	Zentrale Datenhaltung, ein Verantwortlicher	Verteilte Datenhoheit mit Fach-Know-how vor Ort
10	Zeitdruck kritischer Vorhaben	Duldet das wichtigste Vorhaben eine zentrale Warteschlange?	Ja, Qualität vor Tempo	Nein, Marktfenster erzwingt Bereichstempo
11	Vendor-Landschaft	Wie hoch ist das Risiko von Doppelverträgen und Lock-in?	Bereits mehrere überlappende Verträge, konsolidieren	Wenige Anbieter, bewusst gewählt, Exit geregelt
12	Entscheidungsrechte	Sind Freigabe-, Stopp- und Budgetrechte heute eindeutig?	Unklar, eine zentrale Instanz schafft Ordnung	Klar geregelt, Bereiche entscheiden sauber

Drei Kriterien verdienen besondere Aufmerksamkeit, weil sie in der Praxis am häufigsten falsch bewertet werden.

Kriterium 5 wird chronisch überschätzt. Viele Häuser planen ein CoE mit Profilen, die sie nicht haben und am Arbeitsmarkt kurzfristig nicht bekommen. Ein CoE, das aus einer Person und drei offenen Stellen besteht, ist keine Organisationsform. Es ist ein Versprechen. Dann ist ein föderierter Start mit externem Architektur-Backstop ehrlicher.

Kriterium 8 wird chronisch unterschätzt. Nachweispflichten entstehen nicht erst mit der Aufsicht. Auch Kundenaudits in Automobil- oder Gesundheitslieferketten fragen zunehmend nach KI-Kontrollen. Wer hier 0 vergibt, sollte die letzten drei Kundenaudits daraufhin geprüft haben.

Kriterium 10 ist das einzige, das legitim gegen die Kontrolllogik gewichtet werden darf. Wenn das wertvollste Vorhaben ein Marktfenster hat, darf es nicht sechs Monate in einer zentralen Warteschlange altern. Die Lösung ist dann aber ein dokumentierter Fast-Track mit nachgelagerter Prüfung, keine stille Ausnahme.

Das Scoring in der Praxis: ein durchgerechnetes Beispiel

Ein fiktiver, aber typischer Fall: ein Maschinenbauer mit 900 Beschäftigten, sieben laufenden KI-Initiativen und zwei Kandidaten mit Personalbezug. Das Führungsteam bewertet die zwölf Kriterien in einem halbtägigen Termin. Ergebnis: Risikoprofil 2, Heterogenität 0 (Konstruktion, Service und Einkauf sind fachlich weit auseinander), Parallelität 1, Plattformreife 2 (kein zentrales Logging), Senior-Kapazität zentral 1, Fachkompetenz 1, Plattformüberlapp 2, Auditdruck 2 (Automotive-Kunden), Datenlage 1, Zeitdruck 1, Vendor-Lage 2 (drei überlappende Verträge), Entscheidungsrechte 2 (heute ungeklärt). Summe: 17 von 24 Punkten.

Die Lesart braucht Bandbreiten, keine Scheinpräzision. Ab etwa 16 Punkten dominiert der Kontroll- und Bündelungsbedarf: CoE-lastiger Hybrid. Unter etwa 8 Punkten dominiert die Fachnähe: Föderation mit schlankem zentralen Inventar. Dazwischen liegt der klassische Hybrid, bei dem der Schnittstellenvertrag die eigentliche Arbeit ist. Der Beispiel-Maschinenbauer landet beim CoE-lastigen Hybrid: Plattform, Kontrollen und Vendor-Konsolidierung zentral, die Konstruktions- und Service-Use-Cases bleiben mit eigenen Ownern im Fach.

Zwei Regeln halten das Verfahren ehrlich. Erstens: Jeder Score braucht einen Beleg im Protokoll, eine Zahl, ein Auditbefund, eine Vertragsliste. „Gefühlt 2“ zählt nicht. Zweitens: Die Gewichtung wird vor der Bewertung festgelegt, nicht danach. Wer erst bewertet und dann gewichtet, rechnet sich das Wunschergebnis zurecht.

Der Hybrid steht und fällt mit dem Schnittstellenvertrag

Die meisten Mittelständler landen beim Hybrid. Genau deshalb entscheidet ein Dokument über Erfolg oder Scheitern: der Schnittstellenvertrag zwischen Zentrale und Bereichen. Er ist ein bis zwei Seiten lang und beantwortet vier Fragen schriftlich.

Erstens: Was ist ausnahmslos zentral? Bewährt haben sich Inventar, Risikoklassifizierung, Modell- und Vendorfreigabe, Plattformbausteine, Evaluationsstandards und die Nachweisakte. Das deckt sich mit dem empirischen Muster: Risiko- und Daten-Governance sind die am stärksten zentralisierten Elemente im McKinsey-Panel (2025). Zweitens: Was verantworten die Bereiche? Use-Case-Auswahl, Fachdatenqualität, Adoption und der Nutzennachweis gegen eine vorher fixierte Baseline. Drittens: Wie läuft die Eskalation, wenn ein Bereich vom Standard abweichen will? Mit welcher Frist antwortet die Zentrale? Viertens: Welche Kapazität garantiert die Zentrale den Bereichen, und was passiert, wenn sie überbucht ist?

Ein CoE ohne Veto- und Budgetrecht ist Symbolpolitik. Wer die Kontrollinstanz will, muss ihr auch das Recht geben, ein Fachbereichsprojekt zu stoppen, sonst dokumentiert sie nur, was sie nicht verhindern durfte.

Im Betrieb zeigen drei Messgrößen, ob die gewählte Form trägt. Die Wartezeit auf zentrale Leistungen: Wächst sie zwei Quartale in Folge, ist die Zentrale unterdimensioniert oder falsch geschnitten. Die Schattenbeschaffung: Jeder am Inventar vorbei geschlossene Vertrag ist ein Misstrauensvotum gegen die Struktur. Die Nachweisfähigkeit: Kann die Organisation binnen einer Woche für jedes produktive System Owner, Risikoklasse und letzte Evaluation zeigen? Diese drei Größen gehören in den Jahresreview der Organisationsform, mit der ausdrücklichen Option, sie zu ändern. Eine Organisationsentscheidung mit Belegen zu revidieren ist Reife, kein Gesichtsverlust.

Maßnahmen für die Geschäftsführung

Bis Tag 30:

• Vollständiges Inventar aller KI-Vorhaben erstellen lassen, inklusive inoffizieller Werkzeugnutzung (Owner: CIO/IT-Leitung).
• Risiko-Vorklassifizierung der Vorhaben entlang der Verordnung (EU) 2024/1689 beauftragen (Owner: Compliance/Datenschutz).
• Halbtägigen Scoring-Termin für die zwölf Kriterien ansetzen, Teilnehmer: GF, IT-Leitung, zwei bis drei Fachbereichsleitungen (Owner: Geschäftsführung).
• Belegliste je Kriterium vorbereiten: Vertragsübersicht, Auditbefunde, Personalverfügbarkeit (Owner: IT-Leitung).

Bis Tag 60:

• Modellentscheidung treffen und schriftlich begründen, Score, Gewichtung, gewählte Option (Owner: Geschäftsführung).
• Schnittstellenvertrag entwerfen: zentrale Pflichtleistungen, föderierte Verantwortung, Eskalationsfristen (Owner: IT-Leitung mit Fachbereichen).
• Mandat und Besetzung der zentralen Rolle(n) klären, inklusive Veto- und Budgetrecht (Owner: GF mit HR).
• Vendor-Konsolidierung starten, falls das Scoring Doppelverträge gezeigt hat (Owner: Einkauf).

Bis Tag 90:

• Die drei Betriebsmetriken aufsetzen: Wartezeit, Schattenbeschaffung, Nachweisfähigkeit (Owner: CoE-/Governance-Lead).
• Eskalationspfad einmal real durchspielen, etwa an einer Standardabweichung (Owner: IT-Leitung).
• Jahresreview der Organisationsform terminieren, mit Revisionsoption im Kalender der GF (Owner: Geschäftsführung).

Was Führung jetzt entscheiden muss

Häufige Fragen (FAQ)

Was kostet der Aufbau eines AI Center of Excellence im Mittelstand?

Die größte Kostenposition ist Personal, nicht Technik: je nach Zuschnitt zwei bis sechs erfahrene Vollzeitrollen für Architektur, Datenkompetenz, Governance und Enablement. Dazu kommen Plattformkosten, Schulungsbudget und die oft unterschätzte Abstimmungszeit der Fachbereiche. Gartner beziffert die Spanne für GenAI-Vorhaben in Großunternehmen auf 5 bis 20 Millionen US-Dollar (2024); im Mittelstand liegen die Beträge deutlich darunter, aber die Logik bleibt gleich. Entscheidend ist, das CoE klein zu starten und Kapazität am realen Portfolio auszurichten statt an Zielbildern.

Was passiert, wenn wir die Organisationsfrage einfach offenlassen?

Dann entscheidet sie sich von selbst, meist als unkontrollierte Föderation. Fachbereiche beschaffen eigene Werkzeuge, es entstehen parallele Verträge, inkonsistente Datenflüsse und Schatten-KI ohne Inventar. Destatis nennt Unklarheit über rechtliche Folgen als zweithäufigsten Grund für KI-Zurückhaltung (2024); ohne klare Zuständigkeit bleibt genau diese Unklarheit bestehen. Spätestens mit den Hochrisiko-Pflichten der Verordnung (EU) 2024/1689 ab August 2026 braucht es eine benannte Stelle, die Nachweise führt. Wer sie nicht benennt, trägt das Risiko in der Geschäftsführung.

Womit fangen wir an, wenn es heute weder CoE noch föderierte Struktur gibt?

Mit einem Inventar aller laufenden und geplanten KI-Vorhaben, inklusive der inoffiziellen. Das dauert zwei bis vier Wochen und liefert die Faktenbasis für alles Weitere. Danach folgt das Scoring der zwölf Kriterien in einem halbtägigen Termin mit Geschäftsführung, IT-Leitung und zwei bis drei Fachbereichsleitungen. Erst dann fällt die Modellentscheidung. Diese Reihenfolge verhindert den häufigsten Fehler: eine Organisationsdebatte ohne Kenntnis des eigenen Portfolios.

Wie viele Leute braucht ein CoE bei 250 bis 2.000 Beschäftigten?

Weniger, als die meisten Organigramm-Entwürfe vorsehen: Ein tragfähiger Start sind zwei bis vier Personen mit klarem Mandat, eine Senior-Rolle für Architektur und Standards, eine für Daten und Evaluation, anteilig Governance und Enablement. Gartner zufolge haben 91 Prozent der Organisationen mit hoher KI-Reife dedizierte KI-Verantwortliche benannt (2025); entscheidend ist dort das Mandat, nicht die Teamgröße. Ein großes CoE ohne Entscheidungsrechte bewirkt weniger als ein kleines mit Budget- und Vetorecht.

Verlangt der EU AI Act ein zentrales KI-Team?

Nein, die Verordnung (EU) 2024/1689 schreibt keine Aufbauorganisation vor. Sie verlangt Ergebnisse: Risikomanagement, technische Dokumentation, menschliche Aufsicht und Transparenz, bei Hochrisiko-Systemen im Wesentlichen ab dem 2. August 2026, KI-Kompetenz nach Artikel 4 bereits seit Februar 2025. Wie ein Unternehmen diese Pflichten organisatorisch erfüllt, bleibt ihm überlassen. In der Praxis erleichtert eine zentrale Nachweis- und Kontrollinstanz die Erfüllung erheblich, weil Audits eine verantwortliche Stelle brauchen. Auch ISO/IEC 42001 fordert ein Managementsystem, keine bestimmte Abteilung.

Evidenz und Grenzen

Belegt sind die Verbreitungs- und Strukturzahlen: CoE-Verbreitung im DACH-Raum (Computerwoche-Studie 2025), Zentralisierungsmuster nach Funktion (McKinsey 2025), Reife- und Betriebsdauerdaten (Gartner 2024 und 2025), Föderationsbefund reifer Programme (MIT Technology Review Insights 2023) sowie die regulatorischen Fristen der Verordnung (EU) 2024/1689. Redaktionelle Einschätzung sind die zwölf Kriterien selbst, die Punktbandbreiten und die Beispielrechnung: Sie sind eine Führungsheuristik, kein validiertes statistisches Modell. Der fiktive Maschinenbauer illustriert das Verfahren und ist kein Kundenfall. Der Beitrag leistet keine Rechtsberatung und ersetzt keine unternehmensindividuelle Bewertung von Arbeitsrecht, Mitbestimmung oder branchenspezifischer Aufsicht.

Quellen und Methodik

1. McKinsey & Company: „The State of AI: How organizations are rewiring to capture value“, März 2025 (Befragung Juli 2024, 1.491 Teilnehmer). https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-how-organizations-are-rewiring-to-capture-value
2. Gartner: „Gartner Survey Finds 45% of Organizations With High AI Maturity Keep AI Projects Operational for at Least Three Years“, Pressemitteilung, 30. Juni 2025 (Befragung Q4 2024, 432 Teilnehmer). https://www.gartner.com/en/newsroom/press-releases/2025-06-30-gartner-survey-finds-forty-five-percent-of-organizations-with-high-artificial-intelligence-maturity-keep-artificial-intelligence-projects-operational-for-at-least-three-years
3. Gartner: „Gartner Survey Finds Generative AI is Now the Most Frequently Deployed AI Solution in Organizations“, Pressemitteilung, 7. Mai 2024. https://www.gartner.com/en/newsroom/press-releases/2024-05-07-gartner-survey-finds-generative-ai-is-now-the-most-frequently-deployed-ai-solution-in-organizations
4. Computerwoche: „CIO-Studie: Wie GenAI die IT-Organisation transformiert“ zur Studie „Gen AI — Die neue Realität in der IT-Organisation 2026+“, 2025 (223 Befragte, DACH). https://www.computerwoche.de/article/4080955/cio-studie-wie-genai-die-it-organisation-transformiert-2.html
5. MIT Technology Review Insights (in Zusammenarbeit mit JPMorgan Chase): „Successfully deploying machine learning“, 2023. https://wp.technologyreview.com/wp-content/uploads/2023/06/JPMC-Report-v12.pdf
6. Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 (KI-Verordnung), Amtsblatt der EU, 12. Juli 2024; Anwendungsfristen nach Artikel 113.
7. ISO/IEC 42001:2023 — Information technology, Artificial intelligence, Management system.
8. Statistisches Bundesamt (Destatis): Pressemitteilung Nr. 444, „Jedes fünfte Unternehmen nutzt künstliche Intelligenz“, 25. November 2024. https://www.destatis.de/DE/Presse/Pressemitteilungen/2024/11/PD24_444_52911.html

Methodik: Recherche und Erstfassung entstanden mit KI-Unterstützung; alle Zahlenangaben wurden gegen die oben genannten Primär- und Sekundärquellen geprüft. Die zwölf Kriterien, das Scoring und die Beispielrechnung sind redaktionelle Eigenleistung und als Heuristik gekennzeichnet. Menschliche Endredaktion vor Veröffentlichung ist vorgesehen.

Änderungsprotokoll

Datum	Änderung
2026-07-23	Erstfassung Launch-Korpus (Status: draft)
2026-07-23	Vollständige Neufassung: zwölf Kriterien einzeln ausgearbeitet, Scoring-Beispiel, Schnittstellenvertrag, Quellen extern verifiziert

Das Entscheider-Briefing

Ein Briefing pro Woche: Entscheidungsfragen, eingeordnete Zahlen und Fristen. Ihre Adresse geben wir nicht weiter.

Website

E-Mail-Adresse

Briefing abonnieren

Ich möchte das Briefing per E-Mail erhalten und kann die Einwilligung jederzeit widerrufen. Die Datenschutzerklärung habe ich gelesen.

Sie erhalten zuerst eine E-Mail mit einem Bestätigungslink. Erst nach dem Klick nehmen wir Sie auf. Abmeldung mit einem Klick in jeder Ausgabe.