Algorithmische Fairness im Underwriting und Scoring — was prudenzielle Validierung nicht prüft

Für Aktuariat, Kreditrisiko-Modellierung und Validierungsfunktion: welche Fairness-Metriken auf ein reales Scoring- oder Tarifierungsmodell anwendbar sind, warum sie sich widersprechen — und warum die Prüfung nicht daran scheitern muss, dass Sie die relevanten Merkmale gar nicht führen dürfen.

Im vorangegangenen Beitrag haben wir die Lücke benannt: Prudenzielle Validierung nach Art. 185 CRR beziehungsweise Art. 121, 122 und 124 der Solvency-II-Richtlinie prüft Trennschärfe, Kalibrierung und Angemessenheit. Sie prüft algorithmische Fairness gegenüber geschützten Gruppen nicht — nicht aus Nachlässigkeit, sondern weil sie dafür nie konzipiert wurde.

Dieser Beitrag geht den Schritt weiter, den ein Champion-Gespräch als nächstes verlangt: Was genau würde man messen, und woran hängt die Prüfung praktisch?

Der berechtigte erste Einwand

Er kommt aus dem Aktuariat, und er ist gut begründet: „Risikoadäquate Differenzierung ist unser Geschäft. Sie ist gesetzlich ausdrücklich erlaubt.“

Das stimmt — aber der Erlaubnissatz ist enger, als er in der Praxis meist zitiert wird. § 20 Abs. 2 Satz 2 AGG ist als Einschränkung formuliert, nicht als Ermächtigung: Eine unterschiedliche Behandlung wegen der Religion, einer Behinderung, des Alters oder der sexuellen Identität ist bei privatrechtlichen Versicherungen nur zulässig, wenn sie auf anerkannten Prinzipien risikoadäquater Kalkulation beruht, insbesondere auf einer versicherungsmathematisch ermittelten Risikobewertung unter Heranziehung statistischer Erhebungen.

Drei Beobachtungen dazu, die für ein Fairness-Testdesign unmittelbar praktisch sind.

Erstens: Das Geschlecht steht nicht mehr auf dieser Liste. Bis 2012 stand es dort. Nach dem Urteil des Europäischen Gerichtshofs in der Sache Test-Achats (C-236/09) hat der deutsche Gesetzgeber die geschlechtsbezogene Ausnahme gestrichen — mit Wirkung zum 21. Dezember 2012, in der bis heute geltenden Fassung. Die geschlechtsbezogene Sterblichkeitsdifferenz ist statistisch unbestreitbar, dennoch war sie als Rechtfertigung nicht mehr ausreichend.

Zweitens: Manche Differenzierung ist auch mit perfekter Statistik unzulässig. § 20 Abs. 2 Satz 1 AGG bestimmt, dass Kosten im Zusammenhang mit Schwangerschaft und Mutterschaft „auf keinen Fall“ zu unterschiedlichen Prämien oder Leistungen führen dürfen. Kein Rechtfertigungsvorbehalt, keine versicherungsmathematische Ausnahme. Für ein Tarifierungsmodell in der Krankenversicherung ist das kein abstrakter Satz, sondern eine konkrete Testanforderung — einschließlich der Frage, über welche Merkmale sich diese Kosten indirekt in den Score einschleichen können.

Drittens: Für die Bank gilt eine andere Norm. § 20 Abs. 2 Satz 2 greift nur im Fall des § 19 Abs. 1 Nr. 2 AGG, also bei privatrechtlichen Versicherungen. Die Kreditvergabe an Verbraucher läuft über § 19 Abs. 1 Nr. 1 (Massengeschäfte) und damit über den offeneren Maßstab des § 20 Abs. 1: Es genügt ein „sachlicher Grund“. Das klingt bequemer, ist es aber nicht — denn dort ist gerade kein versicherungsmathematischer Prüfungsmaßstab vorgezeichnet, an dem man sich ausrichten könnte. Was als sachlicher Grund gilt, wird im Streitfall nachträglich beurteilt. Eine vorab dokumentierte Fairness-Prüfung ist im Kreditgeschäft damit eher wertvoller als in der Versicherung, nicht weniger.

Der Befund insgesamt: Der Gesetzgeber unterscheidet sehr wohl zwischen Differenzierung und Diskriminierung. Aber statistische Korrektheit ist an keiner Stelle eine hinreichende Rechtfertigung — sie ist bestenfalls eine notwendige.

Der AI Act verlangt für Hochrisikosysteme — und dazu zählen nach Anhang III Nr. 5 sowohl die Kreditwürdigkeitsprüfung als auch Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung — nicht, dass es keine Gruppenunterschiede gibt. Er verlangt nach Art. 10 Abs. 2 Buchst. f und g, dass mögliche Verzerrungen untersucht und geeignete Maßnahmen zu ihrer Erkennung, Verhinderung und Minderung getroffen werden. Gefordert ist also eine dokumentierte, begründete Prüfung — nicht ein bestimmtes Ergebnis.

Das ist eine gute Nachricht für ein Aktuariat, das sauber arbeitet. Es verschiebt die Aufgabe von „Wir müssen unser Modell ändern“ zu „Wir müssen belegen können, was wir warum in Kauf nehmen“.

Drei Metrikfamilien — und Ihre Validierung prüft bereits eine davon

Die Fairness-Literatur kennt Dutzende Metriken. Für ein reales Scoring- oder Tarifierungsmodell ordnen sie sich in drei Familien, die man auseinanderhalten muss, weil sie unterschiedliche Fragen stellen.

Unabhängigkeit (statistische Parität). Erhalten geschützte und Referenzgruppe im gleichen Anteil eine positive Entscheidung? Operationalisiert als Statistical Parity Difference oder Disparate Impact Ratio. Beide Bibliotheken liefern die Kennzahl unmittelbar: Fairlearn als demographic_parity_difference und demographic_parity_ratio, AIF360 als statistical_parity_difference. Für die Prüfdokumentation ist meist die aufgeschlüsselte Sicht nützlicher als die eine Kennzahl — in Fairlearn die MetricFrame mit selection_rate je Gruppe, die statt einer Zahl die Gruppentabelle ausgibt. Diese Familie ist im Underwriting fast immer verletzt — und sie zu erzwingen wäre in der Regel falsch, weil sie reale Risikounterschiede ignoriert. Sie bleibt trotzdem relevant: Sie ist die Kennzahl, die eine Aufsicht, ein Gericht oder eine Verbraucherschutzorganisation als Erstes berechnen wird. Wer sie nicht kennt, wird von ihr überrascht.

Fehlerraten-Gleichheit (Separation). Sind die Fehler gleich verteilt? Equal Opportunity vergleicht die Falsch-Negativ-Raten, Equalized Odds zusätzlich die Falsch-Positiv-Raten zwischen den Gruppen. Übersetzt in Ihre Fachsprache: Wird ein tatsächlich guter Antragsteller aus Gruppe A häufiger abgelehnt als ein ebenso guter aus Gruppe B? Das ist die Familie, die für Kreditentscheidung und Annahmeentscheidung fachlich am meisten trägt, weil sie die Risikodifferenz bereits herausrechnet — sie fragt nur noch, ob das Modell bei gleichem Risiko gleich gut funktioniert. In Fairlearn: equalized_odds_difference sowie false_negative_rate und false_positive_rate je Gruppe über die MetricFrame; equal_opportunity_difference steht dort ebenfalls bereit. In AIF360 entsprechen sie den Werten average_odds_difference und equal_opportunity_difference.

Kalibrierung innerhalb der Gruppen (Sufficiency). Bedeutet ein Score von 0,08 in jeder Gruppe dieselbe tatsächliche Ausfall- beziehungsweise Schadenwahrscheinlichkeit? Hier wird es für Ihre Validierungsfunktion interessant: Es handelt sich um eine Fairness-Metrik, die Sie technisch bereits beherrschen. Ihre bestehende Kalibrierungsprüfung — Binomialtest, Hosmer-Lemeshow, beobachtete Werte gegen Erwartungswerte — entspricht genau diesem Verfahren. Sie führen es nur aggregiert über das Gesamtportfolio durch, nicht getrennt nach Gruppen.

Die praktische Konsequenz ist unaufgeregt: Der erste Schritt eines Fairness-Tests ist keine neue Methodik, sondern eine Stratifizierung Ihrer bestehenden Validierungsstrecke. Das senkt den Einstiegsaufwand erheblich und ist im Aufsichtsdialog gut erklärbar.

Ein Hinweis aus der Praxis, der später Ärger spart: Beide Bibliotheken haben ihre Schnittstellen mehrfach umgestellt — AIF360 führt neben dem älteren Dataset-API inzwischen ein scikit-learn-kompatibles Modul, in dem einzelne Metriken anders heißen. Die verwendete Bibliotheksversion gehört deshalb in die Prüfdokumentation. Ohne sie ist die Wiederholungsmessung in zwei Jahren nicht sauber reproduzierbar, und genau darauf wird eine Validierungsfunktion schauen.

Warum Sie sich zwischen den Familien entscheiden müssen

Und hier liegt der Punkt, den Übersichtsartikel zum AI Act regelmäßig übergehen: Die drei Familien sind nicht gemeinsam erfüllbar.

Kleinberg, Mullainathan und Raghavan sowie — unabhängig davon — Alexandra Chouldechova haben 2016 gezeigt, dass ein Modell bei unterschiedlichen Basisraten zwischen den Gruppen nicht gleichzeitig kalibriert sein und gleiche Fehlerraten aufweisen kann, außer im praktisch irrelevanten Fall perfekter Vorhersage. Das ist kein Modellierungsfehler, den man mit besseren Daten behebt. Es ist ein mathematisches Resultat.

Für Underwriting und Scoring bedeutet das: Unterschiedliche Basisraten sind hier die Regel, nicht die Ausnahme. Ihr Modell wird also zwangsläufig mindestens eine gängige Fairnessdefinition verletzen. Die Frage kann folglich nicht lauten, ob Ihr Modell fair ist. Sie lautet: Welche Fairness-Definition ist für diesen Anwendungsfall die richtige, wer hat das entschieden, und ist die Entscheidung dokumentiert?

Damit wird algorithmische Fairness von einer technischen zu einer Governance-Frage — und genau in dieser Form ist sie prüfbar. Ein Fairness-Testbericht, der die Unmöglichkeitsaussage benennt, die gewählte Leitmetrik begründet und die bewusst in Kauf genommene Abweichung beziffert, ist gegenüber einer Aufsicht deutlich belastbarer als ein Bericht, der eine einzelne grüne Kennzahl ausweist.

Gruppen-Fairness reicht nicht: das Proxy-Problem

Zwei Ergänzungen, ohne die eine Prüfung im Finanzsektor unvollständig bleibt.

Individuelle Fairness. Dwork und Kolleginnen formulierten 2012 das Prinzip, dass hinreichend ähnliche Personen hinreichend ähnlich behandelt werden sollen. Auf ein Scoringmodell angewendet heißt das: kontrafaktische Prüfung. Ändert sich die Entscheidung, wenn ein einzelnes, für das Risiko nicht kausaler Merkmal variiert wird? Diese Prüfung entdeckt Effekte, die jede Gruppenmetrik übergeht, weil sie sich innerhalb der Gruppen aufheben.

Proxy-Merkmale. Das ist in der Praxis der wichtigste Test, und er ist der Grund, warum „Wir verwenden geschützte Merkmale gar nicht erst“ keine Verteidigung ist. Modelle finden Stellvertreter. Die Postleitzahl korreliert in vielen Städten stark mit der Migrationsgeschichte — der europäischen Variante dessen, was in den USA als Redlining bekannt wurde. Beschäftigungslücken und Teilzeitquoten korrelieren mit Geschlecht. Vertragslaufzeiten und Produktbestand korrelieren mit Alter. Ein Gradient-Boosting-Modell mit einigen Hunderten Merkmalen rekonstruiert ein nicht erhobenes, geschütztes Merkmal oft mit erstaunlicher Genauigkeit, ohne dass jemand das beabsichtigt hätte.

Und bei der ethnischen Herkunft wird es enger. Der Rechtfertigungskatalog des § 20 Abs. 1 AGG nennt Religion, Behinderung, Alter, sexuelle Identität und Geschlecht. Rasse und ethnische Herkunft — so der Gesetzeswortlaut — nennt er nicht, obwohl § 19 Abs. 1 AGG beide ausdrücklich in den zivilrechtlichen Benachteiligungsschutz einbezieht.

Ich lese dieses Schweigen als bewusste Entscheidung: Wo die Rechtfertigungsnorm ein Merkmal nicht aufführt, steht die Rechtfertigung über einen sachlichen Grund für dieses Merkmal auch nicht zur Verfügung. Das ist meine Auslegung und keine Rechtsauskunft; wer sie intern verwenden möchte, sollte sie von der eigenen Rechtsabteilung prüfen lassen.

Für das Testdesign ändert sich allerdings nichts, falls man meiner Lesart nicht folgt — und darauf kommt es hier an. Herkunftsbezogene Merkmale gelangen über Postleitzahl, Namensbestandteile oder Sprachmerkmale am ehesten unbeabsichtigt ins Modell. Zugleich ist der Rechtfertigungsspielraum bei ihnen im günstigsten Fall eng und nach meiner Auslegung gar nicht vorhanden. Wer nur die zweifelsfrei rechtfertigungsfähigen Merkmale testet, prüft ausgerechnet dort nicht, wo eine Feststellung die härteste Konsequenz hätte.

Der belastbare Test ist unspektakulär: Man prüft, wie gut sich das geschützte Merkmal aus den übrigen Modellmerkmalen vorhersagen lässt, und schaut sich über SHAP-Attributionen an, welche Merkmale die Vorhersageunterschiede zwischen den Gruppen tragen. Das Ergebnis ist ein Kandidatenkatalog für die fachliche Diskussion — nicht ein automatisches Urteil.

Das eigentliche Hindernis: Sie brauchen Daten, die Sie nicht führen

Damit stehen wir vor dem Punkt, an dem Fairness-Projekte in regulierten Häusern typischerweise scheitern. Jede der genannten Metriken benötigt das geschützte Merkmal — zumindest im Testdatensatz. Das ist genau das Merkmal, das Sie aus guten Gründen nicht erheben und das nach Art. 9 DSGVO besonders geschützt ist.

Der AI Act hat dieses Dilemma gesehen. Art. 10 Abs. 5 erlaubt ausnahmsweise die Verarbeitung besonderer Kategorien personenbezogener Daten, soweit dies für Bias-Erkennung und -Korrektur unbedingt erforderlich ist. Die Erlaubnis ist an sechs kumulative Bedingungen geknüpft; Erwägungsgrund 70 ordnet sie als erhebliches öffentliches Interesse im Sinne von Art. 9 Abs. 2 Buchst. g DSGVO ein.

Eine dieser Bedingungen verdient in einer Vendor-Entscheidung besondere Aufmerksamkeit. Art. 10 Abs. 5 Buchst. d verlangt, dass die besonderen Kategorien personenbezogener Daten nicht an andere Parteien übermittelt oder von diesen abgerufen werden. Ergänzend fordern Buchst. b und c technische Nutzungsbeschränkungen, Pseudonymisierung, strikte Zugriffskontrollen und Dokumentation; Buchst. e verlangt die Löschung, sobald der Zweck erreicht ist.

Wer diese Bedingungen ernst nimmt, hat eine Vendor-Entscheidung bereits getroffen. Ein Fairness-Prüfdienst, der Ihre Antragsdaten samt geschützter Merkmale zur Berechnung entgegennimmt, ist mit Buchst. d nur schwer zu vereinbaren — unabhängig davon, wie gut sein Auftragsverarbeitungsvertrag ist.

Die Architektur folgt aus der Norm, nicht aus dem Vertrieb

Der AI Act hält die Antwort im selben Regelwerk bereit. Erwägungsgrund 69 nennt ausdrücklich den Einsatz von Technologie, die es erlaubt, die Algorithmen zu den Daten zu bringen, statt Rohdaten zwischen Parteien zu übertragen oder zu kopieren.

Genau so ist unsere Prüfstrecke gebaut. Die Berechnung läuft client-seitig in einem Container in Ihrer Umgebung, auf Ihren Daten, hinter Ihrer Zugriffskontrolle. Was das Haus verlässt, sind aggregierte Kennzahlen, Metrikbegründungen und die Prüfdokumentation — keine Antragsdatensätze und keine besonderen Kategorien personenbezogener Daten.

In Governance-Sprache übersetzt, und das ist die Fassung für den Vorstandsvorlage-Absatz: Der Auslagerungstatbestand nach MaRisk AT 9 fällt deutlich kleiner aus, weil keine Verarbeitung personenbezogener Kundendaten durch den Dienstleister stattfindet. Ein zusätzliches Drittparteien-IKT-Risiko im Sinne von DORA entsteht nicht, weil kein laufender Dienst in die Wertschöpfungskette eingebunden wird. Die Datenhoheit bleibt vollständig im Haus.

Das ist kein Verkaufsargument, das wir nachträglich an eine Methodik geheftet haben. Es ist die einzige Architektur, mit der Art. 10 Abs. 5 Buchst. d sauber einzuhalten ist.

Was ein prüffähiges Fairness-Testprotokoll enthält

Aus der Praxis, komprimiert auf secIm vorangegangenen Beitraghs Punkte:

1. Schutzmerkmale und Vergleichsgruppen, mit Begründung ihrer Auswahl und der Rechtsgrundlage ihrer Verarbeitung nach Art. 10 Abs. 5.
2. Leitmetrik plus Begleitmetriken, mit dokumentierter Begründung der Wahl und ausdrücklichem Verweis auf die Unmöglichkeitsaussage.
3. Schwellenwerte und Toleranzbänder, vor der Messung festgelegt — nicht danach.
4. Proxy- und Kontrafaktik-Analyse einschließlich der geprüften, aber verworfenen Kandidaten.
5. Fachliche Rechtfertigung verbleibender Differenzen, versicherungsmathematisch oder kreditfachlich hergeleitet.
6. Wiederholungsturnus und Eskalationspfad, angebunden an die bestehende Modellvalidierung und an die Beobachtung nach dem Inverkehrbringen gemäß Art. 72.

Punkt 6 ist der, der am häufigsten fehlt. Ein einmaliger Fairness-Test hat eine kurze Haltbarkeit: Portfolios verschieben sich, Merkmalsverteilungen driften, und ein Modell, das heute innerhalb der Toleranz liegt, tut das in achtzehn Monaten möglicherweise nicht mehr.

Zeitrahmen

Die Hochrisiko-Pflichten des Anhangs III gelten nach dem Digital Omnibus ab dem 2. Dezember 2027. Das ist entspannt genug, um sorgfältig vorzugehen — und knapp genug, dass es sich lohnt, jetzt mit einem einzelnen Modell zu beginnen, dessen Ergebnis man in Ruhe intern diskutieren kann.

Der Aufwand liegt ohnehin nicht im Rechnen. Die Metriken sind in AIF360 und Fairlearn implementiert und in wenigen Tagen auf ein bestehendes Modell angewendet. Der Aufwand liegt in der Begründung: in der Auswahl der richtigen Metrik für den konkreten Anwendungsfall, in der fachlichen Herleitung dessen, was legitime Risikodifferenzierung ist und was nicht, und in der Dokumentation, die diese Entscheidungen zwei Jahre später noch trägt.

Diese Arbeit können Sie nicht auslagern. Was Sie auslagern können, ist die Methodik, mit der sie strukturiert wird.

Wenn Sie ein konkretes Modell im Kopf haben, dessen Fairness-Profil Sie einmal sauber vermessen sehen möchten — schreiben Sie mir. Ein Erstgespräch dauert eine halbe Stunde und kostet nichts.

Dr. Valentin José Mayr ist Gründer und Geschäftsführer der waveImpact GmbH, Bremen.

Primärquellen

• VO (EU) 2024/1689 (KI-VO): Art. 10 Abs. 2 Buchst. f, g; Art. 10 Abs. 5 Buchst. b–f; Art. 72; Anhang III Nr. 5; ErwG 69, 70
• AGG: § 19 Abs. 1 Nr. 1 und 2; § 20 Abs. 1; § 20 Abs. 2
• VO (EU) 2016/679 (DSGVO): Art. 9 Abs. 2 Buchst. g
• EuGH, Urteil v. 1.3.2011, C-236/09 (Test-Achats)
• MaRisk AT 9; VO (EU) 2022/2554 (DORA)

Literatur

• Kleinberg, Mullainathan, Raghavan (2016), Inherent Trade-Offs in the Fair Determination of Risk Scores
• Chouldechova (2016), Fair Prediction with Disparate Impact
• Dwork, Hardt, Pitassi, Reingold, Zemel (2012), Fairness Through Awareness

Werkzeuge

• Fairlearn — API-Referenz
• AIF360 — sklearn-API-Referenz

Hinweis: Dieser Artikel dient der fachlichen Information und ersetzt keine Rechtsberatung. Die Auslegung zu § 20 Abs. 1 AGG im Abschnitt zu Proxy-Merkmalen ist im Text als solche gekennzeichnet.

Zuletzt aktualisiert: Juli 2026.