Die Idee klingt gut: Statt zu erklären, warum ein Antrag abgelehnt wurde, zeigt man, was sich ändern müsste, damit er angenommen wird.
Wir haben kontrafaktische Erklärungen nach der DICE-Methode (Diverse Counterfactual Explanations) für unser Kreditmodell implementiert und dann etwas getan, das im ML-Bereich zu selten passiert: Wir haben echte Endnutzer gebeten, damit zu arbeiten. 34 Personen, keine Statistiker, keine Ingenieure, sondern Sachbearbeiter und Antragsteller in einem kontrollierten Setting.
Was die Ergebnisse zeigten
Kontrafaktische Erklärungen wurden als deutlich handlungsrelevanter eingestuft als Feature-Importance-Listen. 28 von 34 Teilnehmenden bevorzugten sie. Aber es gab ein konsistentes Problem: Wenn die Gegenbeispiele unrealistische Veränderungen enthielten, etwa ein Jahresgehalt von 28.000 auf 61.000 erhöhen, verlor die Erklärung sofort ihre Glaubwürdigkeit. Nutzer empfanden sie als zynisch.
DICE bietet Constraints, um solche Sprünge zu begrenzen. Wir haben sie nachträglich eingebaut und den Test wiederholt. Die Akzeptanzwerte stiegen messbar, aber die Rechenzeit pro Erklärung erhöhte sich auf knapp vier Sekunden, was für eine Weboberfläche grenzwertig ist.
Die eigentliche Erkenntnis
XAI ist keine rein technische Aufgabe. Die Qualität einer Erklärung hängt davon ab, ob ein Mensch etwas damit tun kann. Das klingt offensichtlich, wird aber in der Praxis fast immer zugunsten von Metriken wie Fidelity oder Sparsity vernachlässigt. Nutzertests sollten kein optionaler Schritt sein.