Leistungen / S2 · Prüfen
AI Ethics Audit & Bias Testing.
Wo das Readiness Assessment fragt „Wo stehen wir?“, fragt der Audit „Wie verhalten sich unsere Modelle tatsächlich?“. Wir messen Fairness quantitativ mit statistischen Methoden, die in der wissenschaftlichen Literatur etabliert sind — und zeigen, wo systematische Unterschiede in algorithmischen Entscheidungen Mitigation brauchen.
Für wen das passt
Sie betreiben Modelle, die über Menschen entscheiden.
Der Audit ist der richtige Schritt, wenn Sie konkrete Systeme im Einsatz haben und entweder regulatorisch (Anhang III, Konformitätsbewertung) oder durch Stakeholder-Druck den Nachweis algorithmischer Fairness liefern müssen — oder selbst Klarheit über das Verhalten Ihrer Modelle wollen.
Anwendungsbereich
Hochrisiko-Systeme nach Anhang III — Recruiting, Kreditscoring, Empfehlungssysteme, automatisierte Entscheidungen über Personen. Auch GPAI-basierte Anwendungen mit Bias-Potenzial fallen darunter.
Reifegrad
Systeme im produktiven Einsatz oder in der Spätentwicklung. Auditfähigkeit setzt trainierte Modelle und verfügbare Test- und Trainingsdatensätze voraus — kein Prototyp-Stadium.
Entscheidungsträger
Compliance-Leitung, AI/Data Lead oder Geschäftsführung — häufig, wenn Investoren, Aufsichtsrat oder eine bevorstehende Konformitätsbewertung das Thema Fairness sichtbar gemacht haben.
Schmerzpunkte, die wir adressieren
- Bias-Vorwurf von außen, interner Beleg fehlt
- Mehrere Modelle, kein einheitlicher Prüfstandard
- Fehlende Methodik für Fairness-Bewertung
- Druck auf algorithmische Transparenz
- Vorbereitung auf Konformitätsbewertung nach Annex VII
- ML-Engineering und Compliance arbeiten getrennt
Vorgehen
Vier Phasen, methodisch begründet.
Der Audit folgt einer reproduzierbaren Sequenz, die in 3 bis 6 Wochen aufeinander aufbaut. Phasen B und C laufen teilweise parallel, weil Mitigations-Strategien bereits während der Bias-Messung erarbeitet werden — die zeitliche Aufteilung ist eine Richtmarke, kein starres Schema.
System-Analyse & Daten-Assessment
Wir lernen die Modelle und ihre Datengrundlage kennen: Architektur, Trainingsdaten, Performance-Metriken, Deployment-Umgebung. Parallel prüfen wir die Repräsentativität der Trainingsdaten — welche demografischen Gruppen sind unter- oder überrepräsentiert? Welche Daten der besonderen Kategorien (Art. 9 DSGVO) werden verarbeitet?
Außerdem die Stakeholder-Impact-Analyse: Welche Personengruppen sind von den Modellentscheidungen betroffen? Wo gibt es Feedback-Mechanismen, wo nicht? Wir erstellen ein Profil, mit dem die quantitative Prüfung in Phase B fokussiert ansetzen kann.
Was am Ende vorliegt
- Technical System Profile je Modell
- Architektur- und Datenfluss-Dokumentation
- Data Assessment Report (Python-generiert)
- Stakeholder-Impact-Matrix
Bias-Detection & Fairness-Analyse
Quantitative Messung mit etablierten Methoden: statistische Parität, gleiche Fehlerraten, Equalized Odds und individuelle Fairness. Wir nutzen AIF360 und Fairlearn für die Standard-Metriken, plus eigene Python-Skripte für intersektionale Analysen — also für die Frage, ob Bias an Schnittpunkten mehrerer geschützter Merkmale stärker ist als an einzelnen.
Parallel die Performance-Disparitäts-Analyse: Unterscheiden sich Genauigkeit, False-Positive- und False-Negative-Raten zwischen demografischen Gruppen? Statistische Signifikanz wird mit Bootstrap-Konfidenzintervallen abgesichert, nicht aus Punkt-Schätzern abgeleitet.
Was am Ende vorliegt
- Bias-Detection-Report (Executive + Technical)
- Fairness-Metriken über geschützte Merkmale
- Intersektionale Bias-Analyse
- Fairness-Dashboard (Python / Streamlit)
Risiko-Bewertung & Mitigation-Strategie
Die quantitativen Befunde aus Phase B werden zu einer priorisierten Risiko-Landschaft verdichtet: Welche Bias-Funde haben welches Schadenspotenzial — für betroffene Personen, regulatorische Compliance, Reputation? Hier verbinden sich technische Metriken mit ethischer Beurteilung und rechtlicher Einordnung.
Daraus entstehen konkrete Mitigations-Empfehlungen auf drei Ebenen: technisch (Algorithmus-Anpassungen, Re-Sampling, Constrained Learning), prozessual (Human-in-the-Loop, Eskalationspfade) und governance-seitig (Review-Zyklen, Verantwortlichkeiten). Wir empfehlen nicht das Maximum, sondern das Notwendige — priorisiert nach Risiko und Umsetzbarkeit.
Was am Ende vorliegt
- Ethical Risk Assessment (Wahrscheinlichkeit × Impact)
- Stakeholder-Harm-Analyse
- Mitigation-Empfehlungen, priorisiert
- Implementation Roadmap mit Aufwandsschätzung
Dokumentation & Compliance-Paket
Aus Phasen A bis C entsteht eine Compliance-Dokumentation, die EU-AI-Act-Anforderungen nach Art. 11 (technische Dokumentation) und Art. 13 (Transparenz) abdeckt. Sie ist so strukturiert, dass sie für eine Konformitätsbewertung nach Annex VII durch eine benannte Stelle weiterverwendet werden kann — keine Rohdaten-Sammlung, sondern eine prüfbare Argumentation.
Parallel das Setup für laufendes Monitoring: Welche Fairness-Metriken werden in welchem Rhythmus geprüft? Welche Schwellen lösen welche Eskalationen aus? Damit ist der Audit kein Einmal-Ereignis, sondern der Startpunkt einer fortlaufenden Praxis — die in Service S3 vertieft betrieben werden kann.
Was am Ende vorliegt
- Compliance-Dokumentationspaket (EU AI Act)
- Audit-Trail- und Änderungs-Protokoll
- Monitoring & Review Framework
- Eskalationspfade und Verantwortlichkeitsmatrix
Investition
Zwei Engagement-Stufen, klar abgegrenzt.
Der typische Audit prüft ein bis drei Modelle in 3 bis 4 Wochen. Für umfangreiche Portfolios — etwa mehrere Hochrisiko-Systeme aus verschiedenen Geschäftsbereichen, oder Computer-Vision- und NLP-Modelle mit spezialisierter Probing-Methodik — erstellen wir die Kalkulation nach einem strukturierten Scoping-Gespräch.
1–3 Modelle
Klassisches ML auf tabularen Daten oder eindeutig abgegrenzte NLP- bzw. CV-Anwendungen. Alle vier Phasen in 3 bis 4 Wochen, mit vollständigem Compliance-Dokumentationspaket.
ab 8.000 €
Enterprise · individuell
Portfolio-Audit
Multiple Modelle über mehrere Geschäftsbereiche, generative KI mit komplexer Probing-Methodik, oder Vorbereitung auf Annex-VII-Konformitätsbewertung. Preis und Aufwand nach Scoping-Gespräch.
Individuelle Kalkulation
Faktoren
Was den Preis bestimmt.
Vier Faktoren skalieren den Aufwand — sie sind die Grundlage jedes Angebots, das nach dem Scoping-Gespräch entsteht.
Anzahl und Verflechtung der Modelle
Ein einzelnes Modell ist methodisch schneller geprüft als ein Portfolio aus mehreren Systemen mit Daten- und Output-Abhängigkeiten. Wo Modelle aufeinander aufbauen, vervielfacht sich der Analyse-Aufwand pro System.
Modell-Typ und Methodik
Klassisches ML auf tabularen Daten nutzt etablierte Verfahren (AIF360, Fairlearn). Computer Vision, NLP und generative Modelle erfordern spezialisierte Probing-Verfahren, deren Setup methodisch aufwendiger ist.
Anzahl geschützter Merkmale
Mehr geschützte Attribute (Geschlecht, Alter, Ethnie, Behinderung, Religion) bedeuten mehr Fairness-Metriken, mehr Gruppen-Vergleiche und vor allem mehr intersektionale Analysen — die kombinatorisch wachsen.
Dokumentationstiefe
Interner Statusreport für die Compliance-Funktion vs. vollständiges Konformitätsbewertungs-Dossier für eine benannte Stelle nach Annex VII — der Dokumentationsaufwand unterscheidet sich um den Faktor zwei bis drei.
Bei Bundle-Buchung nach Readiness Assessment (–15 %) oder mit anschließendem Continuous Monitoring (–10 %). Alle Preise zzgl. MwSt. Reisekosten nach Aufwand.
Wer „fair“ sagt, muss messen können. Wer messen will, braucht Methoden, die in der Statistik anerkannt sind — nicht im Marketing.
— Dr. Valentin José Mayr · Gründer
Verwandte Leistungen
Was vor und nach dem Audit Sinn macht.
Der Audit ist die technische Tiefenprüfung. Davor lohnt häufig eine systematische Verortung, danach die Verstetigung — je nach Reifegrad und Geltungsbereich.
S1 · Verorten
EU AI Act Readiness Assessment
Wenn unklar ist, welches Modell auditfähig oder hochrisiko-relevant ist: Bestandsaufnahme, Risikoklassifizierung, Roadmap.
ab 15.000 €
S3 · Verstetigen
Continuous Monitoring
Aus dem Audit-Setup wird ein laufendes System: Drift-Detection, Bias-Alarmierung und Quartals-Reviews nach Art. 72 EU AI Act.
ab 6.000 € Setup
S4 · Verstehen
Technical Team Training
Wenn Sie das Audit-Wissen intern aufbauen wollen: Hands-on-Workshop zu Bias-Detection, Fairness-Metriken und Python-Tools.
ab 3.000 €
Konkret werden