Leistungen / S3 · Verstetigen
Continuous AI Monitoring.
Ein Audit ist eine Momentaufnahme. KI-Modelle verändern sich kontinuierlich — durch Datendrift, Nutzerverhalten und Feedback-Schleifen. Continuous Monitoring macht aus der einmaligen Prüfung eine laufende Praxis, die der Post-Market-Monitoring-Pflicht nach Art. 72 EU AI Act genügt und Aufsichtsrat, Investoren und Rating-Agenturen quartalsweise belastbar bedient.
Für wen das passt
Sie haben KI produktiv im Einsatz und müssen darüber dauerhaft Rechenschaft geben.
Monitoring ist der natürliche Nachfolger eines Bias Audits. Es lohnt sich, sobald die Modelle stabil laufen, die Datenpipelines etabliert sind und regelmäßige Berichtsanforderungen entstehen — sei es aus EU AI Act, CSRD, durch Investoren oder den eigenen Aufsichtsrat.
Anwendungsbereich
Hochrisiko-Systeme nach Anhang III im produktiven Einsatz oder eingebettete Hochrisiko-KI nach Anhang I in Produkten. Idealerweise mit abgeschlossenem Audit als Baseline — sonst messen wir gegen einen unbekannten Ausgangspunkt.
Reifegrad
Systeme seit mindestens sechs Monaten produktiv. Datenpipelines stabil, MLOps-Infrastruktur vorhanden, Re-Training-Prozesse etabliert. Vorher fehlt die Grundlage für sinnvolle Drift-Schwellen.
Entscheidungsträger
Compliance-Leitung mit Art.-72-Verantwortung, AI/Data Lead, Datenschutzbeauftragte, CSO bei CSRD-Integration. Häufig mit Reporting-Pflicht gegenüber Aufsichtsrat oder externen Stakeholdern.
Schmerzpunkte, die wir adressieren
- Audit-Ergebnis veraltet, niemand weiß wie aktuell die Fairness ist
- Bias Creep ohne Frühwarnsystem
- Art.-72-Post-Market-Monitoring-Pflicht ungelöst
- Quartals-Updates für Aufsichtsrat ohne Datenbasis
- Manuelles Reporting bindet Data-Scientist-Kapazität
- CSRD- und Investoren-Anforderungen wachsen schneller als die interne Kapazität
Setup-Vorgehen
Drei Setup-Phasen — danach Routine.
Monitoring ist nach dem Aufbau ein Zustand, keine Sequenz. Wir investieren 4 bis 6 Wochen in einen sauberen Setup, der den Übergang in den laufenden Retainer reibungslos macht — und in dieser Zeit sicherstellt, dass die richtigen Signale, Schwellen und Verantwortlichkeiten festgelegt sind.
Konfiguration & Schwellen-Design
Wir konkretisieren das Monitoring-Inventar: Welche KI-Systeme werden überwacht? Welche Fairness-Metriken sind aus Audit oder Stakeholder-Anforderungen abgeleitet? Welche Drift-Typen sind für jedes System relevant — Covariate Drift bei Input-Features, Label Drift bei späteren Ground-Truth-Daten, Concept Drift bei veränderten Input-Output-Beziehungen?
Das wichtigste Artefakt ist das Schwellen-Design: Welcher Wert löst eine Warnung aus, welcher eine Eskalation? Schwellen sind keine Bauchgefühl-Zahlen — sie werden aus Audit-Baselines und etablierten statistischen Verfahren abgeleitet (Population Stability Index, Kolmogorov-Smirnov, Jensen-Shannon-Divergenz).
Was am Ende vorliegt
- Monitoring-Plan nach Art. 72 EU AI Act
- Schwellen-Definition je Metrik und System
- Alarmierungs-Architektur
- Verbindung zur bestehenden Compliance-Dokumentation
Pipeline-Implementierung
Wir bauen die technische Monitoring-Pipeline auf — primär mit Alibi Detect für Drift-Detection, Great Expectations für Datenqualitäts-Validierung und Evidently AI bzw. Streamlit für die Dashboards. Die Werkzeuge sind Open Source, DSGVO-konform und können auf Wunsch vollständig in Ihrer Infrastruktur laufen — keine Daten verlassen Ihre Umgebung.
Parallel die Bias-Creep-Überwachung: temporale Fairness-Metriken im Vergleich zur Audit-Baseline, intersektionale Stabilität, automatische Alarmierung bei Schwellenüberschreitung. Die Integration in Ihre Produktions- und MLOps-Pipeline erfolgt gemeinsam mit Ihrem Engineering-Team.
Was am Ende vorliegt
- Drift-Detection-Pipeline (Alibi Detect)
- Datenqualitäts-Pipeline (Great Expectations)
- Monitoring-Dashboard für Compliance-Funktion
- Bias-Creep-Alarmierung mit Eskalationslogik
Übergabe & Routine-Etablierung
Monitoring ohne Verantwortlichkeiten ist eine Dashboard-Sammlung. Wir definieren mit Ihnen, wer auf welche Alarme reagiert, welcher Quartals-Review-Rhythmus etabliert wird und wie der Bericht für Aufsichtsrat, Investoren oder CSRD-Berichterstattung aufgebaut ist.
Mit dem Abschluss von Phase C beginnt der laufende Retainer: monatliche Health-Checks der Monitoring-Pipeline, quartalsweise Compliance-Reviews mit Bericht und jährliche Strategie-Anpassung an Veränderungen der Regulatorik, des Modell-Portfolios oder der Geschäftslogik.
Was am Ende vorliegt
- Eskalationspfade und Verantwortlichkeitsmatrix
- Quartals-Review-Template für Aufsichtsrat
- Monitoring-Plan-Dokumentation (Art. 72 EU AI Act)
- Übergabe in den laufenden Retainer-Betrieb
Im Retainer enthalten
Was nach Phase C im monatlichen Rhythmus läuft.
- Monatliche Health-Checks der Monitoring-Pipeline und der definierten Schwellen
- Reaktion auf Alarme mit dokumentierter Ursachenanalyse und Mitigation-Empfehlung
- Quartalsweiser Compliance-Bericht für Aufsichtsrat, Investoren oder Rating-Agentur
- Jährliche Strategie-Anpassung an Regulatorik, Portfolio und Geschäftslogik
- Update der Compliance-Dokumentation nach Änderungen am Modell oder an den Daten
- Beratung auf Abruf bei regulatorischen Neuerungen oder Stakeholder-Anfragen
Investition
Zwei Retainer-Stufen, klar abgegrenzt.
Das Setup wird einmalig kalkuliert und liegt im Standardfall bei 6.000 bis 8.000 €. Der laufende Retainer skaliert mit Anzahl überwachter Systeme und Reporting-Tiefe — für komplexe Portfolios oder regulierte Branchen erstellen wir das Angebot nach einem strukturierten Scoping-Gespräch.
1–3 Systeme
Drift-Detection, Bias-Monitoring, monatlicher Health-Check und quartalsweiser Compliance-Bericht für bis zu drei KI-Systeme. Geeignet für mittelständische Unternehmen mit überschaubarem produktivem Portfolio.
ab 2.000 € / Monat
Enterprise · individuell
Portfolio-Monitoring
4+ Systeme, regulierte Branchen (Finanz, Medizin, Energie), CSRD-Integration oder Investoren-Reporting mit hoher Update-Frequenz. Retainer und Setup nach Scoping-Gespräch.
Individuelle Kalkulation
Faktoren
Was den Preis bestimmt.
Vier Faktoren skalieren den Aufwand — sie sind die Grundlage jedes Angebots, das nach dem Scoping-Gespräch entsteht.
Anzahl überwachter Systeme
Jedes System hat eigene Metriken, Schwellen, Daten-Pipelines und Eskalationspfade. Der Setup-Aufwand wächst linear mit jedem zusätzlichen System; der Retainer skaliert in Stufen, weil mehrere Systeme gleichzeitig überwacht werden können.
Alarmierungs-Komplexität
Standard-Schwellen mit Mail-Alarmierung sind schnell aufgesetzt. Mehrstufige Eskalationen mit Slack-, Teams- oder Ticketing-Integration, Quoren-basierte Entscheidungs-Workflows oder Risk-Scoring-Aggregationen erweitern Setup und Pflege.
Reporting-Tiefe
Interner Statusreport für die Compliance-Funktion ist Standard. CSRD-Integration mit ESRS-Mapping, Investor-Reports mit ESG-Score-Beiträgen oder Aufsichtsrats-Vorlagen mit quartalsweiser Strategie-Einordnung erweitern den Aufwand.
Integrations-Tiefe
Self-hosted Dashboard auf einer separaten Instanz ist die schnellste Variante. Integration in bestehende Compliance-Plattformen, MLOps-Stacks oder Data-Governance-Tools braucht zusätzliches Engineering — meist einmal im Setup.
Bei Bundle-Buchung nach Bias Audit entfällt ein Teil des Setups (–€1.500 typisch), weil Schwellen und Baseline bereits dokumentiert sind. Mindestlaufzeit Retainer: 12 Monate. Alle Preise zzgl. MwSt.
Ein Modell, das gestern fair war, ist heute nicht automatisch fair. Wer das ignoriert, riskiert nicht nur regulatorische Probleme — sondern den Vertrauensbruch mit den Menschen, die das System betrifft.
— Dr. Valentin José Mayr · Gründer
Verwandte Leistungen
Was vor Monitoring Sinn macht.
Monitoring ohne Baseline ist Messung gegen einen unbekannten Ausgangspunkt. Vor dem Setup empfehlen wir entweder ein Readiness Assessment oder ein Bias Audit — je nach Reifegrad Ihrer Vorarbeiten.
S1 · Verorten
EU AI Act Readiness Assessment
Wenn noch unklar ist, welche Systeme überwacht werden müssen: Bestandsaufnahme, Risikoklassifizierung, Priorisierung.
ab 15.000 €
S2 · Prüfen
AI Ethics Audit & Bias Testing
Das Audit liefert die Baseline, gegen die das Monitoring später misst. Ohne Baseline keine sinnvollen Drift-Schwellen.
ab 8.000 €
S4 · Verstehen
Workshops
Wenn Ihr Team das Monitoring später intern weiterführen soll: Technical Team Training zu Drift-Detection und Bias-Metriken.
ab 3.000 €
Konkret werden