Künstliche Intelligenz in der Medizin: "Es gibt viele Möglichkeiten, etwas falsch zu machen"

Sie ist eine Hilfe für viele Ärztinnen und Ärzte und soll für diese den Alltag leichter machen. Die Rede ist von der Künstlichen Intelligenz (KI), die im Gesundheitssektor immer häufiger zum Einsatz kommt. Sie hilft beispielsweise dabei, Röntgen- und CT-Bilder auszuwerten oder chronische Krankheiten zu überwachen. Doch wie vertrauenswürdig kann eine solche Software sein?

Diese Frage ist nicht immer einfach zu beantworten, denn noch fehlt es an konkreten Zulassungsverfahren. Das soll sich jedoch bald ändern. Das Projekt TEF-Health hat sich zum Ziel gesetzt, dafür zu sorgen, dass Maschinen mit menschlichen Absichten und Werten in Einklang gebracht werden. In einem Teilprojekt geht es hierbei auch um die entsprechenden Zulassungsprozesse für KI. COMPAMED.de sprach zum Thema mit Dr. Daniel Schwabe, der an der Physikalisch-Technische Bundesanstalt (PTB) am Projekt mitwirkt.

Herr Dr. Schwabe, KI spielt bei der Entwicklung von Gesundheitsanwendungen eine immer größere Rolle. Sie von der Physikalisch-Technische Bundesanstalt sind mit einer Projektgruppe am TEF-Health-Projekt beteiligt, damit "agile Zulassungsprozesse für vertrauenswürdige KI etabliert werden". Worin besteht Ihr Anteil am Projekt?

Daniel Schwabe: Wir von der PTB beschäftigen uns mit dem Teilaspekt der Qualität und den Standards für die Künstliche Intelligenz in der Medizin. Wir wollen uns hauptsächlich um die Qualitätssicherung kümmern und tun dies in enger Abstimmung mit dem Fraunhofer-Institut für Nachrichtentechnik Heinrich-Hertz-Institut. Wir betrachten sowohl die Algorithmen als auch die Daten einer KI und wie diese beiden Aspekte zusammenhängen. Die Ergebnisse, die dann zusammengetragen werden, sollen verwendet werden können, um Standards für KIs, die zum Beispiel in Medizinprodukte integriert werden, entwickeln zu können.

Gleichzeitig ist es wichtig, dass wir nicht nur theoretische Überlegungen anstellen und etwas empfehlen, was in der Praxis gar nicht umsetzbar ist. Deshalb ist das TÜV AI Lab mit an Bord. Wir wollen die Lösungen, die wir anbieten, konkret in die Praxis umzusetzen.

Wir verfolgen gemeinsam den Ansatz der agilen Regulierung, ein moderner Ansatz für Regulierung. Konformitätsbewertungen finden hierbei nicht mehr sequenziell, sondern parallel zur Produktentwicklung statt. Gerade KI-Lösungen bieten sich hier in besonderem Maße an, weil man verschiedene Aspekte von KI bereits vor Abschluss der Produktentwicklung untersuchen und bewerten kann.

Es gibt jedoch Hindernisse, die im Projekt angegangen werden müssen. Eine agile Konformitätsbewertung ist nach aktuellem Rechtsrahmen nicht möglich. Dafür muss noch der richtige Weg gewählt werden. Dies wird eine unserer Aufgaben sein.

KI-Systeme bestehen aus einer Vielzahl an Daten. Inwieweit kann man diese überhaupt messen, um verlässliche Qualitätsstandards zu entwickeln? Welche Daten müssen Sie sammeln?

Schwabe: Wir werden uns für verschiedene Klassen von Daten konkrete Referenzbeispiele ansehen. Zunächst werden wir untersuchen, welche Aspekte von Daten zum Beispiel mit einfachen statistischen Methoden untersuchbar sind. Dies reicht vom einfachen Vorhandensein oder Nichtvorhandensein von Datenpunkten, über das Untersuchen von Verteilungsfunktionen, hin zu beispielsweise der Analyse der Klassenbalance.

Wir wollen prüfen, wie zum Beispiel Krankheitsklassen verteilt sind im Datensatz. Wie geht eine KI damit um, wenn es Seltene Erkrankungen oder "Fälle" gibt? Wie verlässlich arbeitet eine KI auf einem Datensatz, in dem möglicherweise Krankheitsklassen unterrepräsentiert werden? Müssen wir dort eventuell gewisse Mindestanforderungen einführen? Also eine Untergrenze für eine Anzahl an Datenpunkten, die vorhanden sein muss, damit eine Krankheit auch wirklich robust von einer KI erkannt werden kann?

Wie würde eine KI aussehen, die den Zulassungsprozessen nicht genügt?

Schwabe: Es gibt viele Möglichkeiten, etwas falsch zu machen. Auch bei allgemeinen Aspekten. Wir sprechen hier zum Beispiel über Sicherheitsbedenken oder den Datenschutz. Von Aspekten, die nicht adäquat bei der Entwicklung mitgedacht wurden. Die richtige Wahl von Daten und Werkzeugen für den beabsichtigten Einsatzbereich. Es muss zum Beispiel gezeigt werden, dass die Datenwahl adäquat ist.

Die KI muss dahingehend überprüft werden, warum sie ihre Entscheidungen so trifft, wie sie sie trifft. Es gibt in der Forschung berühmte Beispiele, bei denen sich zum Beispiel bei Röntgenaufnahmen herausgestellt hat, dass eine KI an der Art und Weise, wie das Bild eingestellt wurde, schon erkannt hat, ob der Verdacht eines Tumors naheliegt oder nicht. Die KI hat sich somit eine sehr hohe Trefferquote erarbeitet.

Sind die KIs, die den Gesundheitsbereich betreffen, eine besondere Herausforderung, weil besonders viel Datenschutz nötig ist?

Schwabe: Absolut. Dies ist ein sehr sensibler Bereich. Die Europäische Kommission bereitet derzeit den sogenannten AI Act vor. Dort werden KIs nach verschiedenen Risikoklassen einsortiert, von geringem über mittleres bis hin zu einem hohen Risiko. Auch Anwendungen, die überhaupt nicht zugelassen werden dürfen. Im Gesundheitsbereich sind wir aufgrund der Sensitivität bei einer Großzahl der Anwendungen im Hoch-Risiko-Bereich, weil es natürlich immer um das Wohl der Patientinnen und Patienten geht.

Hier müssen ganz besonders hohe Anforderungen erfüllt werden, die teilweise bereits durch die MDR abgedeckt sind. Deshalb wird es weiterhin eine wichtige Aufgabe sein, diese beiden Regulierungen zusammenzubringen, die MDR und den AI Act, sodass Hersteller von KI-Medizinprodukten nicht mit einer doppelten Regulierung arbeiten müssen.

Sie haben gerade schon erwähnt, mit wem Sie demnächst zusammenarbeiten werden. Für welchen Zeitraum planen Sie das Projekt und was sind Ihre Schritte?

Schwabe: Das Projekt ist auf fünf Jahre angelegt. Aktuell sind wir dabei einen ersten sogenannten Archetypen – also ein Grundgerüst – zu entwickeln, wie agile Konformitätsbewertung aussehen könnte und welche Metriken man dort für KI verwenden kann und sollte. Wir beginnen jetzt unseren ersten Use-Case vorzubereiten.

Die PTB hat bereits einen EKG-Datensatz publiziert, der sehr viel Verwendung findet. Wir werden zunächst die Qualitätssicherung an diesem konkreten Beispiel durchführen und prüfen, welche Aspekte des Datensatzes entscheidend für die Performance und die Robustheit einer KI sind.