Swiss Room · Krimi · Sonderformat
Der stille Befund
Wenn das Nicht-Ereignis das eigentliche Ereignis ist
Zum Szenario · regulatorische Einordnung
Konstruiertes Fallbeispiel auf Basis typischer Projektrisiken. Angenommen wird der Einsatz eines KI-gestützten Diagnostiksystems. Ein solches System ist nicht allein wegen des Einsatzes im Krankenhaus Hochrisiko-KI — die Einstufung hängt u. a. davon ab, ob es Sicherheitskomponente oder Produkt nach einschlägigem Unionsharmonisierungsrecht ist und einer Drittstellen-Konformitätsbewertung unterliegt. Medizinprodukte-, Datenschutz- und Antidiskriminierungsrecht können daneben greifen.
Was dieser Krimi zeigt
Warum das Fehlen offensichtlicher Fehler die gefährlichste Situation ist – und warum aktive Governance bedeutet, auch ohne Alarmzeichen zu handeln.
★ Warum dieser Krimi anders erzählt wird
Die anderen sieben Krimis folgen einer klassischen Wendepunkt-Architektur: ein leiser Anfang, ein Kipppunkt, ein Tsunami, eine Wende. Hier nicht. Es gibt kein erkennbares Ereignis — das System läuft technisch, die Prozesse sind formal eingehalten, die Dokumentation wirkt vollständig. Ob die Governance auch wirksam war, ist gerade die offene Frage. Und genau das ist die Geschichte.
Konsequenz für Lektüre und Workshop: Die übliche Frage „Wo ging es schief?“ trägt nicht. Stattdessen: „Wann hätte jemand etwas tun sollen — und warum hat es niemand getan, ohne formal etwas falsch zu machen?“. Die Diskussionsführung im Workshop unterscheidet sich; bitte für Workshop-Einsatz ein Briefing-Gespräch führen.
| Organisation | Europäisches Krankenhaus, anonymisiert |
|---|---|
| Branche | Gesundheitswesen – KI-gestütztes Diagnostiksystem |
| Schaden | Kein messbarer Schaden – und genau das ist das Problem |
| Regulierung | EU AI Act – Hochrisiko-KI, Explainability, Human Oversight |
| Kern des Fehlers | System arbeitete korrekt, reproduzierte aber unsichtbare Verzerrung |
| Lernpunkt | Konformität bedeutet nicht Verantwortung. Nachvollziehbarkeit bedeutet nicht Kontrolle. |
Einordnung
Der Fall ist konstruiert, greift jedoch Muster auf, die aus Forschung und Praxis zu Automation Bias, Datenverzerrung und Verantwortungsdiffusion bekannt sind: Systeme laufen technisch, Prozesse sind formal eingehalten, die Dokumentation wirkt vollständig – und dennoch entsteht ein Risiko, das niemand adressiert.
Der Krimi bewegt sich im Spannungsfeld von AI Governance, medizinischer Verantwortung und regulatorischer Konformität. Er zeigt nicht einen spektakulären Fehler, sondern einen gefährlicheren Fall: wenn nichts offensichtlich falsch ist – und genau deshalb niemand eingreift.
Es handelt sich um ein konstruiertes, fiktives Fallbeispiel (europäisches Krankenhaus, fiktiv). Organisation, Personen und Kennzahlen sind frei erfunden bzw. verallgemeinert; Ähnlichkeiten mit realen Einrichtungen oder Personen wären rein zufällig und sind nicht beabsichtigt.
1 Der Befund
Der Fehler entstand nicht in einem Moment. Er war kein Ausfall, kein Alarm, kein Ereignis. Er war leise. Präzise. Regelkonform.
Das System arbeitete, wie es sollte. Die Empfehlungen waren nachvollziehbar, die Wahrscheinlichkeiten plausibel, die Dokumentation vollständig.
Der Arzt sah die Abweichung nicht im Dashboard, sondern im Menschen vor sich. Zu früh. Zu eindeutig. Zu sicher.
Er zögerte einen Augenblick. Dann bestätigte er den Vorschlag. So war der Prozess vorgesehen. Er durfte formal abweichen — doch Prozess, Zeitvorgaben und Kultur machten eine Abweichung faktisch unwahrscheinlich. Niemand stellte Fragen.
2 Die Muster
Drei Wochen später war es kein Einzelfall mehr. Fünf Patientinnen. Fünf identische Empfehlungen. Unterschiedliche Stationen, unterschiedliche Ärztinnen.
„Zufall“, sagte jemand. „Statistik“, sagte jemand anderes.
Die Qualitätskommission nickte. Die Kurven passten. Kein Schwellenwert überschritten. Kein Incident.
Die Leiterin für digitale Governance sagte nichts. Sie wusste: Systeme versagen selten laut. Sie fragte nach den Trainingsdaten.
„Validiert“, lautete die Antwort. Vor dem Einsatz. Nicht danach.
3 Die Erklärung
Der Datenwissenschaftler fand den Auslöser nicht sofort. Er lag nicht im Modellkern, sondern in der Gewichtung. Ein Merkmal. Unscheinbar. Formal korrekt.
Ein Proxy, der nie als solcher benannt worden war. Kein Regelverstoß. Kein Manipulationsversuch. Aber eine Wirkung.
„Das System reproduziert etwas“, sagte er schließlich. „Etwas, das wir nicht sehen wollten.“
Die Juristin fragte nur:
„Ist es meldepflichtig?“
Er schwieg.
4 Die Entscheidung
Die Sitzung der Geschäftsleitung war kurz. Nicht, weil Klarheit herrschte, sondern weil niemand Verantwortung verlängern wollte.
„Kein Schaden nachweisbar.“ „Zunächst kein eindeutig ausgelöster Melde- oder Abschalttatbestand.“ „Keine offensichtliche Pflicht zur Abschaltung.“
Auf Basis der zunächst verfügbaren Dokumentation war kein eindeutiger Verstoß festgestellt. Ob Daten-Governance, laufende Überwachung und menschliche Aufsicht tatsächlich ausreichten, blieb offen. Und dennoch fragte jemand:
„Und wenn wir nichts tun?“
Niemand antwortete.
Die Leiterin der digitalen Governance legte ein Szenario vor. Keinen Vorfall – eine Entwicklung. Ein System, das immer sicherer wirkte. Und immer weniger hinterfragt wurde.
„Wer entscheidet das?“ fragte der CEO.
Die Antwort blieb hängen wie kalter Rauch.
5 Der Schnitt
Die Umstellung erfolgte nachts. Nicht als Stopp, sondern als zusätzliche Sicherung: Die Empfehlungen des Systems durften vorläufig nicht mehr ohne zusätzliche fachärztliche Zweitprüfung in die Behandlung übernommen werden. Das System durfte weiter rechnen und vorschlagen — aber die Entscheidung lag ausdrücklich beim Menschen.
Offiziell änderte sich nichts. Inoffiziell änderte sich alles. Die Dokumentation wurde ergänzt. Die Governance erweitert. Die Verantwortung neu verteilt – zumindest auf dem Papier.
Aber etwas blieb. Die Erkenntnis, dass Konformität nicht schützt. Dass Nachvollziehbarkeit nicht gleich Verantwortung ist. Dass Systeme nicht versagen müssen, um gefährlich zu sein.
6 Danach
Der Fall wurde nie gemeldet. Er erschien in keinem Bericht. Er wurde nicht sanktioniert. Nicht einmal benannt.
Sechs Monate später kam der Fragebogen eines europäischen Partners. Auditrechte. Incident-Pflichten. Vertragsstrafen.
Diesmal kam keine hektische Antwort. Stattdessen ein Dokument. Sachlich. Präzise. Mit einem Abschnitt, der nicht gefordert war:
„Grenzen des Systems.“
Der Partner akzeptierte es. Nicht aus Vertrauen. Sondern aus Kalkül. Weil Transparenz über Grenzen mehr Vertrauen schafft als die Behauptung, keine zu haben.
Epilog
Der stille Befund blieb intern. Aber er veränderte etwas. Nicht die Technologie. Nicht die Prozesse. Sondern die Frage, die seitdem immer wieder gestellt wird:
„Wer haftet, wenn alles korrekt war?“
Und niemand beantwortet sie gern.
Die vorliegende Geschichte ersetzt keine Rechtsberatung.
Wissen prüfen
Möchten Sie Ihr Wissen zu diesem Thema testen? Die folgenden Quiz- bzw. Lernkarten-Sets decken den Stoff dieses Stücks ab — jeweils mit Erklärung nach jeder Antwort bzw. Aufdeck-Logik.