Monitoring und Kontrolle von KI-Lösungen im Krankenhaus

Diese Entwicklung ähnelt der klassischen Schatten-IT, sie geht jedoch weit darüber hinaus. Während früher nicht genehmigte Software meist nur technische oder lizenzrechtliche Fragen aufwarf, können KI-Lösungen erhebliche Auswirkungen auf den Datenschutz, die Informationssicherheit, die medizinischen Prozesse und die regulatorischen Anforderungen haben. Deshalb benötigen Krankenhäuser unverzüglich ein verbindliches Verfahren, mit dem KI-Lösungen bewertet, freigegeben und anschließend überwacht werden.

Warum reichen die bisherigen Freigabeprozesse nicht mehr aus?

 Viele Krankenhäuser verfügen über etablierte Vorgehensweisen für den Echtbetrieb neuer Software, auch auf der Grundlage vorgegebener Prozesse der jeweiligen Hersteller. Diese konzentrieren sich häufig auf die technische Integration und den Betrieb der Systeme oder den Datenschutz.

Bei KI-Lösungen kommen jedoch weitere Fragestellungen hinzu. Welche Daten verarbeitet die Anwendung? Werden etwa Informationen zum Training der Modelle verwendet? Ist es nachvollziehbar, wie die Ergebnisse entstehen? Welche Risiken entstehen bei Fehlentscheidungen? Welche Auswirkungen hat ein Ausfall auf den Krankenhausbetrieb? Wer trägt die Verantwortung für den fachlichen Einsatz?

Diese Fragen lassen sich nicht nebenbei beantworten. Sie erfordern eine strukturierte Prüfung durch verschiedene Fachbereiche und unter fachmännischer Regie eines Verantwortlichen.

Wer sollte die Kontrolle übernehmen?

 In vielen Häusern entsteht schnell die Erwartung, dass die IT-Abteilung diese Aufgabe übernimmt. In der Praxis zeigt sich jedoch, dass dies weder sinnvoll noch realistisch ist.

Die IT kann technische Aspekte bewerten und Sicherheitsmaßnahmen prüfen. Sie kann jedoch weder medizinische Risiken beurteilen noch die Einhaltung aller regulatorischen Anforderungen allein verantworten. Gleichzeitig möchte die IT verständlicherweise nicht zum alleinigen Kontrollorgan für sämtliche KI-Anwendungen werden.

Bewährt hat sich deshalb die Einführung einer unabhängigen prüfenden Stelle. Mehr und mehr  Krankenhäuser entscheiden sich für die Funktion eines externen KI-Beauftragten mit einem interdisziplinär besetzten KI-Gremium. Diese Stelle koordiniert den gesamten Freigabeprozess und sorgt dafür, dass alle relevanten Bereiche beteiligt werden.

Neben der IT gehören dazu häufig der Datenschutz, die Informationssicherheit, die Medizintechnik, das Qualitätsmanagement, die Compliance, der Betriebsrat sowie die jeweilige Fachabteilung. Die Geschäftsführung behält dabei die Gesamtverantwortung und erhält eine belastbare Entscheidungsgrundlage.

Welche Aufgaben übernimmt ein KI-Beauftragter?

 Ein KI-Beauftragter ist weit mehr als ein Ansprechpartner für technische Fragen. Er schafft Transparenz über alle eingesetzten KI-Lösungen und sorgt für einheitliche Standards im gesamten Krankenhaus.

Dazu gehört zunächst die Erfassung aller vorhandenen Anwendungen. Anschließend bewertet der KI-Beauftragte gemeinsam mit den beteiligten Stellen Risiken, Einsatzbereiche und notwendige Schutzmaßnahmen. Erst danach erfolgt eine Empfehlung zur Freigabe.

Mit dem Echtbetrieb endet die Aufgabe jedoch nicht. Auch während des Betriebs müssen technische Veränderungen und neue Releases erkannt und bewertet werden. Die Anbieter entwickeln ihre Modelle kontinuierlich und zügig weiter. Neue Funktionen entstehen oft automatisch. Dadurch können sich Risiken verändern, ohne dass dies im Krankenhaus sofort auffällt.

Ein wirksames Monitoring überprüft deshalb regelmäßig, ob die ursprünglichen Annahmen weiterhin gelten und ob neue Risiken entstanden sind.

Was gehört zu einem wirksamen Monitoring?

Das Monitoring bedeutet deutlich mehr als die technische Überwachung eines Systems. Entscheidend ist die kontinuierliche Kontrolle der organisatorischen und fachlichen Rahmenbedingungen. Dazu gehören regelmäßige Überprüfungen der eingesetzten KI-Lösungen, dokumentierte Risikobewertungen, die Kontrolle neuer Softwareversionen sowie die Bewertung von Änderungen beim Hersteller.

Ebenso wichtig sind Rückmeldungen aus den Fachabteilungen. Die Anwender erkennen häufig als Erste, wenn sich Ergebnisse verändern oder neue Funktionen Auswirkungen auf die Arbeitsabläufe haben.

Ein weiterer wichtiger Baustein ist die vollständige Dokumentation. Die Krankenhäuser müssen jederzeit nachvollziehen können, welche KI-Lösungen eingesetzt werden, wer sie freigegeben hat, welche Risiken bewertet wurden und welche Maßnahmen umgesetzt worden sind. Diese Nachweise gewinnen insbesondere im Zusammenhang mit NIS 2.0, dem AI Act und internen Audits zunehmend an Bedeutung.

Welche Erfahrungen zeigt die Praxis?

In Beratungsprojekten zeigt sich immer wieder ein ähnliches Bild. Viele Krankenhäuser verfügen bereits über deutlich mehr KI-Anwendungen als zunächst angenommen. Neben offiziell eingeführten Lösungen nutzen einzelne Bereiche zusätzliche Werkzeuge für Übersetzungen, Textgenerierung oder Datenanalysen. Oft fehlt ein vollständiger Überblick darüber, welche Anwendungen tatsächlich genutzt werden und welche Daten verarbeitet werden. Ebenso fehlen häufig klare Freigabeverfahren oder verbindliche Zuständigkeiten.

Unsere Erfahrung zeigt, dass sich diese Situation bereits mit wenigen organisatorischen Maßnahmen deutlich verbessern lässt. Sobald ein klar definierter Prüfprozess eingeführt wird und alle Beteiligten ihre Aufgaben kennen, steigt die Transparenz erheblich. Gleichzeitig sinkt das Risiko unkontrollierter KI-Nutzung.

 Fazit

Der Einsatz von KI-Lösungen wird in den kommenden Jahren weiter zunehmen. Damit wächst auch die Verantwortung der Krankenhausleitung, für klare Strukturen und nachvollziehbare Entscheidungen zu sorgen.

Ein wirksames Monitoring beginnt nicht erst nach der Einführung einer KI-Lösung. Es beginnt mit einer verbindlichen Prüfung vor der Freigabe und setzt sich während des gesamten Lebenszyklus fort. Ein KI-Beauftragter oder ein entsprechendes KI-Gremium schaffen hierfür die notwendige Koordination und entlasten gleichzeitig die IT-Abteilung von einer Verantwortung, die sie allein nicht übernehmen kann.

Krankenhäuser, die heute transparente Prozesse etablieren, schaffen die Grundlage für einen sicheren, rechtskonformen und nachhaltigen Einsatz von Künstlicher Intelligenz. Gleichzeitig gewinnen Geschäftsführung und IT-Leitung die notwendige Sicherheit, um Innovationen gezielt zu fördern, ohne den Überblick über Risiken und Verantwortlichkeiten zu verlieren.

Wenn Sie mehr darüber wissen möchten, wie wir Sie beim Aufbau einer definierten Verfahrensweise zur Einführung von KI-Lösungen unterstützen können, dann nehmen Sie Kontakt zu uns auf: walter.schaefer@adiccon.de oder mobil unter 0160 90997764.