17. Apr. 2026
Explainable AI im EU AI Act
Wie human-centered XAI hochriskante KI im Gesundheitswesen verständlich, überprüfbar und regulierungskonform macht
Der EU AI Act verändert die Entwicklung von KI-Systemen grundlegend. Besonders im Gesundheitswesen, wo Entscheidungen direkt das Leben von Menschen betreffen, wird Explainable AI (XAI) zum entscheidenden Bindeglied zwischen regulatorischen Pflichten und realen Nutzerbedürfnissen.
Die folgenden Ausführungen basieren auf einem wissenschaftlichen Paper von Anton Hummel (XITASO & Universität Bayreuth) und einem interdisziplinären Team*, das die bidirektionale Beziehung zwischen XAI und dem EU AI Act anhand eines klinischen Decision Support Systems für Intensivstationen untersucht.
01 — Einordnung
Warum der AI Act XAI dringender macht denn je
Mit dem EU AI Act gilt erstmals ein umfassender Regulierungsrahmen für KI-Systeme in Europa. Besonders hochrisikorelevante Systeme, wie KI-gestützte Clinical Decision Support Systems (CDSS), stehen im Mittelpunkt des neuen Sicherheits- und Transparenzanspruchs. Zwar beschreibt das Gesetz detailliert die Pflichten für Provider und Deployer, doch End-User-Perspektiven, zum Beispiel wie die der Kliniker*innen und Patient*innen, kommen darin kaum vor.
Genau hier entsteht das Spannungsfeld: Während der AI Act technische und organisatorische Vorgaben definiert, adressiert XAI die Verständlichkeit, Interpretierbarkeit und Nachvollziehbarkeit komplexer Modelle für Nutzer*innen und Betroffenen in der Praxis.
Das Paper zeigt klar: Zwischen beiden Sphären entsteht eine bidirektionale Beziehung. Regulierung macht XAI zu einer konkreten Notwendigkeit, und XAI bietet wiederum konkrete Mittel, regulatorische Anforderungen umzusetzen.
02 — Fallbeispiel
Fallbeispiel: Ein KI-basiertes CDSS für Intensivstationen
Das untersuchte CDSS unterstützt ICU-Koordinator*innen bei der Entscheidung, ob Patient*innen sicher von der Intensivstation verlegt werden können.
- Ein Deep Neural Network (DNN), das patientenbezogene Zeitreihen aus Jahren klinischer Daten (2017–2024) verarbeitet.
- KI prognostiziert die Verweildauer (LOS) von Intensivpatient*innen.
- Entscheidungsbefugnis bleibt stets beim Menschen – das System gibt Indikatoren, keine Verlegeempfehlung.
Gerade weil falsche Prognosen gravierende Folgen haben können, wird Interpretierbarkeit für die Nutzer*innen zur entscheidenden Voraussetzung für Vertrauen und verantwortungsvolle Nutzung.
03 — Nutzerbedürfnisse
Warum XAI im Gesundheitsbereich unverzichtbar ist
Viele Kliniker*innen sind Novice Users im Sinne der XAI-Terminologie: Sie nutzen KI-Ergebnisse, verfügen aber nicht über tiefes ML-Wissen. Sie benötigen:
- Klare, plausible Erklärungen
- Lokale Einblicke, um einzelne Prognosen einordnen zu können
- Darstellungen, die medizinische Entscheidungslogiken unterstützen
- Transparenz, um Fehlurteile des Modells zu erkennen und menschliche Expertise einzubringen
Gleichzeitig haben Patient*innen als affected parties ein hohes Bedürfnis nach fairen und korrekten Entscheidungen, auch wenn sie nicht direkt mit dem System interagieren.
04 — Methoden
Welche XAI-Methoden eingesetzt werden und warum gerade diese
Damit die klinischen Stakeholder die Vorhersagen des DNN nachvollziehen können, nutzt das CDSS modellagnostische, lokale post-hoc XAI-Methoden, darunter SHAP, LIME, Integrated Gradients und Saliency Maps.
- Sie funktionieren auch dann, wenn sich die Modellarchitektur ändert (wichtig bei dynamischem Retraining).
- Sie liefern lokale Erklärungen, die konkrete Patientenfälle verständlich machen.
- Sie kombinieren visuelle und numerische Ausgaben, um unterschiedliche Expertise-Level zu bedienen.
- Sie unterstützen Appropriate Reliance: Kliniker*innen sollen richtig einschätzen, wann sie dem Modell folgen sollten und wann nicht.
Ein Beispiel:
Ein Heatmap-Visual zeigt, welche Vitalparameter über 14 Stunden die LOS-Prognose beeinflusst haben, farbkodiert nach positiver oder negativer Wirkung. So wird unmittelbar sichtbar, warum das Modell zu einer bestimmten Einschätzung kommt.
05 — Regulatorik
Wie XAI regulatorische Anforderungen des AI Act greifbar macht
Das Paper zeigt systematisch, wie XAI zentrale Anforderungen des AI Act unterstützt:
Transparenz
Art. 13
XAI liefert genau die Informationen, die Deployern helfen, die KI-Prognose angemessen zu interpretieren und informierte Entscheidungen zu treffen.
Human Oversight
Art. 14
Mit verständlichen visuellen Erklärungen wird gewährleistet, dass menschliche Nutzer*innen das System effektiv überwachen können.
Risk Management
Art. 9
XAI fungiert als Frühwarnsystem: Unerwünschtes Modellverhalten und Trainingsfehler lassen sich erkennen und gezielt korrigieren – bevor das System auf Patient*innen wirkt.
Fundamentale Rechte
Art. 27 – FRIA
Erklärungen über Einflussfaktoren ermöglichen es, Benachteiligungen zu erkennen, bevor das System eingesetzt wird. Regulierung verlangt Schutz individueller Rechte; XAI macht Effekte auf Patient*innen sichtbar.
Insgesamt entsteht ein klarer strategischer Vorteil: XAI wird zur operativen Brücke zwischen legalen Anforderungen und klinischer Realität.
06 — Erkenntnisse
Wesentliche Erkenntnisse aus der Analyse
Das Paper identifiziert drei zentrale Key Insights:
KI1 – Rollen neu denken
XAI-Praktiker*innen müssen aktiv Rollen im regulatorischen Ökosystem übernehmen, statt nur technische Tools zu liefern.
KI2 – Lücke schließen
XAI macht sichtbar, was der AI Act nicht direkt adressiert: die Beziehung zwischen Nutzer*innen (z. B. Kliniker*innen) und betroffenen Personen (Patient*innen).
KI3 – Vertrauen schaffen
Individuelle Erklärbarkeit erzeugt Vertrauen nicht nur bei Nutzer*innen, sondern auch bei Regulator*innen, Deployer-Organisationen und Patient*innen.
07 — Handlungsempfehlungen
Was jetzt konkret zu tun ist – für jede Stakeholder-Gruppe
Die Erkenntnisse des Papers sind keine akademische Fingerübung. Sie haben direkte praktische Konsequenzen – je nach Rolle im KI-Ökosystem.
Für Entwickler*innen und Forscher*innen (erklärbarer) KI
Der AI Act lässt technische Methoden und Schwellenwerte bewusst offen. Zum Beispiel gibt er keine konkreten Vorgaben welche XAI-Methoden wann verpflichtend sind oder welches Level an Erklärbarkeit zu erreichen ist.
Jetzt handeln
Bringt eure Expertise aktiv in Standardisierungsprozesse ein. Wer jetzt an den technischen Leitplanken mitschreibt, gestaltet, wie Compliance künftig aussieht – statt sie später erfüllen zu müssen. Interdisziplinäre Entwicklung und Forschung, die rechtliche, technische und nutzerzentrierte Perspektiven verbindet, ist dabei ausdrücklich gefragt.
Für KI-Systemanbieter (Provider)
Die Wahl der XAI-Methode ist keine nachgelagerte Designentscheidung – sie ist eine regulatorische. Sie muss die Bedürfnisse aller Stakeholder widerspiegeln und nachweislich zur Erfüllung konkreter Artikel des AI Act beitragen. Provider, die das heute strukturiert angehen, vermeiden morgen teure Nachbesserungen im Zertifizierungsprozess.
Jetzt handeln
Startet jetzt mit einer strukturierten Stakeholder-Analyse eurer XAI-Anforderungen – bevor Zertifizierungsfristen den Zeitdruck diktieren. Wer die Desiderata seiner Nutzer*innen kennt, kann gezielt auswählen, welche XAI-Methode welchen Artikel des AI Act bedient, und diese Wahl dokumentiert begründen.
Für Krankenhäuser (Deployer)
Der AI Act verpflichtet Deployer zur Durchführung einer Fundamental Rights Impact Assessment (FRIA) vor dem Einsatz hochriskanter Systeme. XAI-Dokumentation ist dafür keine nette Ergänzung, sondern eine zentrale Grundlage. Gleichzeitig schützen verständliche Erklärungen das klinische Personal vor unkritischer Abhängigkeit vom System – ein Risiko, das der AI Act explizit adressiert.
Jetzt handeln
Prüft, ob eure bestehenden oder geplanten KI-Systeme FRIA-pflichtig sind, und klärt mit euren Systemanbietern frühzeitig, welche KI-Erklärungen als Evidenz nutzbar sind. Das schützt nicht nur Patient*innen vor fehlerhaften Entscheidungen, sondern auch eure Institution vor rechtlichen und reputativen Risiken.
08 — Fazit
Der Moment, in dem XAI vom Forschungsinstrument zum Compliance-Werkzeug wird
Das Zusammenspiel aus EU AI Act und human-centered XAI markiert einen Wendepunkt:
- Der AI Act setzt den Rahmen.
- Human-centered XAI füllt ihn mit nutzerorientierter Bedeutung.
Für KI-Systeme im Gesundheitswesen heißt das: Nur wenn komplexe Modelle verständlich, prüfbar, fair und nachvollziehbar sind, lassen sie sich regulatorisch verantwortungsvoll einsetzen.
Das Paper zeigt eindrücklich, wie XAI diese Brücke schlägt und warum alle Stakeholder, von Regulator*innen bis Patient*innen, davon profitieren.
*Zum Paper
Titel: Explainable AI in the EU AI Act: A Human-Centered Perspective on High-Risk AI in Healthcare
Autor*innen: Anton Hummel (XITASO & University of Bayreuth), Håkan Burden (Chalmers University), Susanne Stenberg (RISE), Jan-Philipp Steghöfer (XITASO), Niklas Kühl (University of Bayreuth)
Accepted at the Fourth World Conference on Explainable Artificial Intelligence, xAI 2026, Fortaleza, Brazil, July 1-3, 2026
Anton Hummel
Research & Innovation