Unsere wichtigsten Erkenntnisse aus Forschung und Praxis.

KI-Modelle treffen heute Entscheidungen in sensiblen Bereichen: Sie unterstützen medizinische Diagnosen, klassifizieren Anomalien in der Fertigung oder bewerten Kreditrisiken. Doch viele leistungsstarke Modelle funktionieren wie eine Blackbox. Sie liefern Empfehlungen, machen aber nicht nachvollziehbar, wie diese zustande kommen.

01 — Einordnung

Was ist Explainable AI – und warum ist sie relevant?

KI-Modelle treffen heute Entscheidungen in sensiblen Bereichen: Sie unterstützen medizinische Diagnosen, klassifizieren Anomalien in der Fertigung oder bewerten Kreditrisiken. Doch viele leistungsstarke Modelle funktionieren wie eine Blackbox. Sie liefern Empfehlungen, machen aber nicht nachvollziehbar, wie diese zustande kommen.

Explainable AI (XAI) zielt darauf ab, Modellentscheidungen für unterschiedliche Stakeholder wie Entwickler*innen, Anwender*innen und Regulierungsbehörden verständlich und nachvollziehbar zu machen. Damit ist XAI nicht nur ein technisches Qualitätsmerkmal, sondern zunehmend eine Voraussetzung für den verantwortungsvollen Einsatz von KI.

02 — Konferenz

Eine Konferenz, die die Breite des Feldes zeigt

Anfang Juli haben die XITASOnians Anton Hummel und Emily Schiller zum zweiten Mal die World Conference on Explainable Artificial Intelligence (XAI World) im brasilianischen Fortaleza besucht und dort zwei eigene Forschungsbeiträge vorgestellt.

Rund 200 Forscher*innen und Praktiker*innen kamen zusammen, überwiegend aus der Informatik, aber auch aus Psychologie, Rechtswissenschaften und Sozialwissenschaften. Drei Tage lang tauschten sie sich darüber aus, was erklärbare KI heute leisten kann und wo sie noch an ihre Grenzen stößt.

Das Programm war beeindruckend vielfältig: Paralleltracks zu Themen wie XAI im Gesundheitswesen, Uncertainty-Aware XAI, XAI in den Rechtswissenschaften und LLM Explainability, ergänzt durch ein Industriepanel, Poster Sessions und eine Community-Umfrage. Allein diese Themenvielfalt zeigt: XAI ist längst kein Nischenthema mehr, sondern ein breites, interdisziplinäres Forschungsfeld mit unmittelbarer Industrierelevanz.

03 — Unsere Beiträge

Unsere Beiträge auf der XAI World 2026

Wir haben die Konferenz nicht nur als Besucher wahrgenommen, sondern mit zwei Beiträgen aktiv mitgestaltet. Beide haben einen direkten Bezug zu Fragestellungen, die unsere Arbeit bei XITASO täglich prägen.

Paper 1: Der AI Act – Erklärbarkeit als Compliance-Baustein, nicht als alleinige Lösung

Im Regulatory Track haben wir die erste interdisziplinäre Analyse der Rolle von XAI im EU AI Act vorgestellt. Gemeinsam mit KI-Rechtsexpert*innen, KI-Forschenden und Requirements Engineers haben wir dies am Beispiel eines klinischen Entscheidungsunterstützungssystems untersucht.

Wir zeigen systematisch auf, wo Erklärbarkeit regulatorische Anforderungen unterstützt und wo zusätzliche Maßnahmen weiterhin notwendig sind. Eine vertiefte Diskussion dazu findet sich in unserem Blogpost zum AI Act und XAI.

Paper 2: Modellunsicherheiten erklären – und richtig bewerten

Moderne KI-Modelle können nicht nur Vorhersagen treffen, sondern auch angeben, wie sicher sie sich dabei sind. Methoden, die diese Unsicherheit auf einzelne Eingabemerkmale zurückführen (Uncertainty Attributions), gewinnen zunehmend an Bedeutung. Das ist beispielsweise relevant, wenn ein System in der Bilddiagnostik signalisieren soll, welche Bereiche einer Aufnahme die Modellunsicherheit besonders beeinflussen.

Bisher fehlte jedoch ein einheitlicher Rahmen, um solche Methoden vergleichbar zu bewerten. Deshalb haben wir ein Framework vorgestellt, das die Evaluation von Uncertainty Attributions an etablierten XAI-Evaluationsframeworks ausrichtet und um unsicherheitsspezifische Qualitätsmerkmale ergänzt.

04 — Trends

Sieben Trends, die wir mitgenommen haben

1. Von der Methode zum System

Statt isolierter Erklärungsmethoden rücken zunehmend systemische Ansätze und die Frage in den Vordergrund, für wen eine Erklärung eigentlich gedacht ist. Themen wie Skalierbarkeit, Nachvollziehbarkeit und Anpassungsfähigkeit standen dabei besonders im Fokus.

Mehrere Arbeiten zeigten außerdem, dass die Wirksamkeit einer Erklärung stark vom individuellen Kontext abhängt. Kognitive Kapazität, emotionaler Zustand und fachliches Vorwissen beeinflussen, wie Erklärungen wahrgenommen und genutzt werden. Eine gute Erklärung ist nicht universell, sondern adressatengerecht. Das ist entscheidend, um erklärbare KI nicht nur prototypisch, sondern auch produktiv einzusetzen.

2. Erklärungen nicht um jeden Preis

Die Community bewegt sich zunehmend weg vom Ansatz „Erklärung um jeden Preis“. Wann lohnt es sich überhaupt, eine Erklärung zu berechnen? Kann beispielsweise die Unsicherheit eines Modells als Indikator dafür dienen, ob eine Erklärung überhaupt notwendig ist? Solche Fragen gewinnen insbesondere für industrielle Anwendungen an Bedeutung, in denen Latenzzeiten und Ressourcenverbrauch eine wichtige Rolle spielen.

3. Unsicherheit und Erklärbarkeit – eine Schnittstelle mit zwei Richtungen

Eine Session widmete sich ausschließlich der Verbindung von Modellunsicherheit und Erklärbarkeit. Dabei zeigten sich zwei relevante Perspektiven:

• Erklärungen können selbst Unsicherheiten enthalten. Ein klares Verständnis darüber, wie zuverlässig Erklärungen sind, wird damit zur Voraussetzung für den industriellen Einsatz, insbesondere wenn sie als regulatorische Werkzeuge betrachtet werden.
• Unsicherheit lässt sich selbst erklären – etwa um KI-Modelle zu verbessern oder die Interaktion mit Nutzenden sinnvoll zu unterstützen.

4. Abseits von Feature Attribution

Bekannte XAI-Methoden wie LIME und SHAP bilden weiterhin das Rückgrat vieler Ansätze. Allein LIME zählt inzwischen mehr als 60 Varianten, und eine ganze Session war SHAP-basierten Methoden gewidmet. Gleichzeitig eröffnen sich neue Wege: Contrastive Learning, interaktive What-if-Szenarien und kausale Nutzermodelle zeigen, dass erklärbare KI weit über klassische Feature Attribution hinausgehen kann.

5. Regulierung ernst nehmen – aber differenziert

Im Regulatory Track und im von Accenture gesponserten Panel zur KI-Governance in Hochrisikobranchen war der Befund klar: Viele Papers behaupten „AI Act Compliance“, ohne diese Aussage durch eine fundierte rechtliche Analyse zu untermauern. Diese Beobachtung deckt sich mit unseren eigenen Forschungsergebnissen.

6. Domänenspezifische Anwendungen als Treiber

Dedizierte Tracks für Gesundheitswesen, Naturwissenschaften und Psychometrie zeigten immer wieder ähnliche Herausforderungen:

• Wie macht man Erklärungen für Fachpublikum verständlich?
• Wie kalibriert man Vertrauen in KI?
• Wie wählt man die passende Methode für den jeweiligen Anwendungsfall?

XAI ist kein generisches Problem, sondern erfordert domänenspezifisches Denken.

7. LLM- und Foundation-Model-Erklärbarkeit: ein junges, aber dringendes Feld

Mit der rasanten Verbreitung großer Sprachmodelle stellt sich selbstverständlich auch hier die Frage nach Erklärbarkeit. Im dedizierten Track „Explainability with and for Large Language Models“ wurden erste Ansätze vorgestellt: sinngetreue Erklärungen in RAG-Systemen, transparente Inferenz über Wissensgraphen sowie die Identifikation spezialisierter Neuronen für grammatikalische Strukturen.

Auch Beiträge zur Erklärbarkeit von Tabular Foundation Models fanden in diesem Jahr ihren Weg ins Programm. Das Feld steht noch am Anfang. Gleichzeitig wurde in den Paneldiskussionen deutlich, dass gerade für Unternehmen, die LLM-basierte Systeme in regulierten Umgebungen einsetzen, nachvollziehbare Ausgaben immer wichtiger werden.

05 — Offene Fragen

Offene Fragen und Blind Spots

Die Konferenz zeigte auch, wo das Feld noch Nachholbedarf hat.

Die meisten Arbeiten evaluieren Erklärungsmethoden auf Basis quantitativer Metriken. Echte Nutzerstudien sind nach wie vor selten. Multi-Stakeholder-Szenarien, also Situationen, in denen unterschiedliche Rollen verschiedene Erklärungsbedürfnisse haben, sind bislang kaum erforscht.

Und trotz der großen Methodenvielfalt bleibt ein zentraler Punkt bestehen. Der Konsens, den die Paneldiskussion treffend zusammenfasste – „AI explainability is inherently polysemantic“ –, macht deutlich, dass selbst der Begriff „Erklärbarkeit“ alles andere als eindeutig definiert ist.

Autoren

Anton Hummel

Emily Schiller