Als die BaFin-Anfrage ankam, hatte unser Team genau vier Wochen Zeit.
Das Modell war ein Random-Forest-Klassifikator für Kreditwürdigkeitsprüfungen, trainiert auf internen Kontodaten. Rechtlich relevant: Artikel 22 DSGVO verlangt bei vollautomatisierten Entscheidungen mit erheblicher Wirkung eine bedeutsame Erklärung für Betroffene. Was bedeutsam heißt, ist absichtlich vage gehalten. Das zwingt zur eigenen Auslegung.
Was wir konkret dokumentiert haben
Wir haben uns für einen zweistufigen Erklärungsansatz entschieden. Stufe eins: eine globale Modellübersicht mit SHAP Summary Plots, die den Entscheidungsraum für interne Prüfer sichtbar macht. Stufe zwei: individuelle Faktorlisten pro Entscheidung, formuliert in natürlicher Sprache für Endkunden. Kein Fachjargon, keine Prozentwerte, keine Modellterminologie.
Die technische Umsetzung der zweiten Stufe war überraschend aufwendig. SHAP-Werte direkt an Kunden weiterzugeben ist keine Option. Wir haben eine Mapping-Schicht gebaut, die aus den Top-3-SHAP-Features regelbasierte Satzmuster generiert. Das klingt simpel, hat aber sechs Iterationsrunden mit der Rechtsabteilung gebraucht.
Was dabei schiefgelaufen ist
In der ersten Version haben wir negative SHAP-Beiträge als Risikofaktoren formuliert. Das war juristisch problematisch, weil es implizierte, das Modell bewerte persönliche Eigenschaften direkt. Nach Rücksprache haben wir auf neutrale Formulierungen umgestellt, die Datenmuster beschreiben ohne auf die Person zu schließen. Kleine sprachliche Feinheit, große rechtliche Relevanz.