Erkenntnisse vom Explainable-AI-Workshop auf der IJCAI in Bremen

Erklärbare KI (Explainable AI, XAI) verspricht, die Entscheidungsfindung komplexer KI-Modelle durch Erklärungen verständlicher zu machen. Doch wie wahrheitsgetreu eine Erklärung die zugrunde liegende Modelllogik widerspiegelt (ihre sogenannte Faithfulness) ist in der XAI-Forschung bis heute kein gelöstes Problem. Wir argumentieren, dass stärkere theoretische Grundlagen notwendig sind, um XAI als verlässliche Disziplin für KI-Anwendungen zu etablieren.

01 — Einordnung

Warum ist Faithfulness in XAI wichtig?

Eines der zentralen Ziele von XAI ist die Handlungsfähigkeit. In Hochrisikobereichen wie dem Gesundheitswesen und dem Finanzsektor, in denen KI-Systeme einschließlich großer Sprachmodelle zunehmend kritische Entscheidungen beeinflussen, müssen Fachleute verstehen, welche Faktoren ein Modell berücksichtigt hat und wie eine Modellvorhersage verändert werden könnte.

XAI-Erklärungen können dabei helfen, eine Modellentscheidung nachzuvollziehen, ihr zu vertrauen oder sie infrage zu stellen. Erklärungen sind jedoch nur dann nützlich, wenn sie die Entscheidungsfindung des Modells zutreffend widerspiegeln. Faithfulness beschreibt genau diese Genauigkeit.

Eine Erklärung mit geringer Faithfulness kann dazu führen, dass KI-Vorhersagen fehlinterpretiert werden und letztlich ein irreführendes Verständnis des KI-Modells entsteht. In der XAI-Forschung bleibt Faithfulness dabei mehrdeutig definiert: Es besteht kein klarer Konsens darüber, was eine Erklärung faithful macht; selbst dort, wo sich Definitionen überschneiden, fehlt eine gemeinsame mathematische Grundlage für deren Bewertung.

02 — Workshop

Der Explainable-AI-Workshop auf der IJCAI: Ein Forum für vertiefte Diskussionen

Die vierte Ausgabe des Explainable-AI-Workshops auf der renommierten IJCAI-Konferenz in Bremen, mitorganisiert von unserem Kollegen Prof. Tobias Huber, brachte Forschende aus der ganzen Welt zusammen, mit Expertise von Philosophie und Medizin bis hin zur Robotik.

Unser Student Researcher Amadeo Tunyi präsentierte zwei Arbeiten zu Faithfulness für XAI für Zeitreihenvorhersagen, während unsere Researcherin Emily Schiler eine Arbeit zu den Schwächen aktueller Metriken zur Bewertung von Faithfulness einbrachte.Unser Student Researcher Amadeo Tunyi präsentierte zwei Arbeiten zu Faithfulness für XAI für Zeitreihenvorhersagen, während unsere Researcherin Emily Schiler eine Arbeit zu den Schwächen aktueller Metriken zur Bewertung von Faithfulness einbrachte.

03 — Unsere Beiträge

Unsere drei Beiträge im Überblick

Wir haben den Workshop nicht nur besucht, sondern mit drei Beiträgen aktiv mitgestaltet. Alle drei adressieren Fragestellungen, die unsere Forschungsarbeit bei XITASO täglich prägen.

Paper 1: Warum bestehende Faithfulness-Metriken unzureichend sind

Weit verbreitete XAI-Metriken sollen beurteilen, wie faithful eine Erklärung ist, also wie genau sie die Entscheidungswege von KI-Modellen widerspiegelt. Doch diese Metriken stehen vor erheblichen Herausforderungen: Viele basieren auf schwachen theoretischen Grundlagen und sind häufig auf bestimmte Anwendungen, vor allem Klassifikationsaufgaben, beschränkt.

Noch kritischer: Viele dieser Metriken messen gar nicht die Faithfulness einer Erklärung, sondern vielmehr deren Plausibilität aus Sicht der Endnutzenden. Erklärungen werden so fälschlicherweise als wahrheitsgetreu eingestuft, obwohl sie die innere Funktionsweise und die Entscheidungswege des KI-Modells gar nicht widerspiegeln.

Kontext: Das Forschungsprojekt KISPP

In unserem Forschungsprojekt KISPP haben wir KI-Modelle trainiert, die auf Basis vergangener Zeitreihen den Pflegebedarf von Patient*innen auf Pflegestationen vorhersagen, und damit Dienstplanenden im Krankenhaus eine Entscheidungsunterstützung bieten. Eine zentrale Anforderung der Anwendenden war die Erklärbarkeit dieser Zeitreihenvorhersagen. Daraus haben sich die folgenden beiden Beiträge ergeben.

Paper 2: Eine neue Perspektive auf Faithfulness für Zeitreihenvorhersagen

In der XAI für Zeitreihenvorhersagen lässt sich Faithfulness messen, indem untersucht wird, wie einzelne Input-Zeitschritte aus der Vergangenheit mit den vom KI-Modell vorhergesagten Output-Zeitschritten für die Zukunft zusammenhängen.

XITASOnian Amadeo Tunyi führt ein Maß ein, mit dem überprüft werden kann, ob die von einer XAI-Methode ermittelten Zusammenhänge zwischen Input und Output mit den Beziehungen übereinstimmen, die das KI-Modell tatsächlich nutzt.

Paper 3: KARMA, eine neue Methode für Erklärungen von Zeitreihenvorhersagen

KARMA bietet einen neuen Ansatz zur Erklärung von Zeitreihenmodellen, der die dynamische Natur dieser Modelle konsequent nutzt. KARMA repräsentiert die Erklärung als System direkter Effekte. Dadurch werden die Erklärungen unmittelbar testbar, leichter interpretierbar und ermöglichen die Ableitung konkreter Handlungsentscheidungen.

04 — Ausblick

Bildung eines Konsenses in der XAI-Forschung

Die zentrale Erkenntnis des Workshops war eindeutig: XAI muss eine gemeinsame Grundlage dafür entwickeln, was eine wahrheitsgetreue Erklärung und vertrauenswürdige KI ausmacht.

Die Entwicklung robuster Theorien und Evaluationsmechanismen, die sich auf verschiedene Anwendungsbereiche übertragen lassen, ist für die Zukunft des Forschungsfeldes entscheidend. Solange Faithfulness mehrdeutig bleibt und keine gemeinsame mathematische Grundlage für deren Bewertung existiert, bleibt XAI anfällig für Missverständnisse und Fehlinterpretationen, mit realen Konsequenzen für den Einsatz in kritischen Anwendungsfeldern.

Bei XITASO arbeiten wir weiter daran, diese Themen voranzubringen und KI-Vorhersagen durch wahrheitsgetreue Erklärungen transparenter zu machen, von der Forschung bis zur produktiven Umsetzung.

Autor*innen

Amadeo Tunyi

Emily Schiller