• Schlussbericht der Enquete-Kommission Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale, BT-Drs. 19/23700, 28.10.2021 (abgerufen am 07.09.2021)
• Stellungnahme des Deutschen Ethikrats vom 20.03.2023

• KI fällt durch Radiologie-Examen : https://www.aerzteblatt.de/nachrichten/139874/Kuenstliche-Intelligenz-scheitert-am-Radiologie-Examen

Studie, die u.a. von Wissenschaftlern von Google Research erstellt wurde:

• Demnach beurteilten Ärzte die Antworten auf allgemeine medizinische Fragen eines neuartigen Chatbots zu 92,6% als richtig. Antworten von tatsächlichen Ärzten wurden hingegen zu 92,9% als richtig bewertet. Antworten des Chatbots wurden zu 5,8% als potentiell gefährdend eingestuft (im Vergleich zu 6,5% der Antworten von Ärzten).
• Antworten des Chatbots auf Fragen in (US-) Zulassungsprüfungen für Ärzte waren zu 68% korrekt.
• Die Autoren schlussfolgern, dass KI Ärzte nicht ersetzen kann, die technologischen Fortschritte in jüngster Zeit aber enorm seien.

s. S. 22 ff. (Zusammenfassung) und S. 140 ff.

1. Enge Zusammenarbeit bei der Entwicklung, Erprobung und Zertifizierung medizinischer KI-Produkte mit relevanten Zulassungsbehörden und insbesondere den medizinischen Fachgesellschaften, um Schwachstellen der Produkte frühzeitig zu entdecken und hohe Qualitätsstandards zu etablieren.
2. Sicherstellung hinreichender Berücksichtigung der für die betreffenden Patientengruppen relevanter Faktoren (wie bspw. Alter, Geschlecht, ethnische Einflussfaktoren, Vorerkrankungen, Komorbiditäten) bei der Auswahl von Trainings-, Validierungs- und Testdaten durch ein entsprechendes Monitoring sowie präzise und zugleich sinnvoll umsetzbare Dokumentationspflichten - über bestehende Rechtsvorgaben hinaus.
3. Sicherstellung einer Form der Ergebnisdarstellung beim Design von KI-Produkten zur Entscheidungsunterstützung, die Gefahren bspw. von Automatismen (Automation Bias) transparent macht, ihnen entgegenwirkt und die Notwendigkeit einer reflexiven Plausibilitätsprüfung der jeweils vom KI-System vorgeschlagenen Handlungsweise unterstreicht.
4. Beachtung hoher Standards in Bezug auf Aufklärung, Datenschutz und Schutz der Privatheit mit Verweis auf die Stellungnahme des Ethikrats von 2017 zu Big Data und dem dort entwickelten Konzept der Datensouveränität.
5. Sicherstellung dass KI-Anwendungen allen einschlägigen Patientengruppen zur Verfügung stehen, wenn empirische Studien sorgfältig die Überlegenheit der jeweiligen KI-Anwendung gegenüber herkömmlichen Behandlungsmethoden belegen.
6. Integration erwiesen überlegener KI-Anwendungen in die klinische Ausbildung inkl. Entwicklung einschlägiger Curricula/Module in Aus-, Fort- und Weiterbildung. Dies gilt auch für andere Gesundheitsberufe.
7. Gewährleistung hoher methodischer Expertise der Nutzern bei routinemäßigen Anwendung von KI-Komponenten zur Einordnung von Ergebnissen und der Einhaltung strenger Sorgfaltspflichten bei der Datenerhebung und -weitergabe sowie bei der Plausibilitätsprüfung der maschinell gegebenen Handlungsempfehlung. Besondere Aufmerksamkeit fordert die Gefahr eines Verlustes von theoretischem wie haptisch-praktischem Erfahrungswissen und entsprechenden Fähigkeiten (deskilling); diese Gefahr sollte mit geeigneten, spezifischen Fortbildungsmaßnahmen entgegengewirkt werden.
8. Sicherstellung der Vorabinformation der Patient*innen bei zunehmender Ersetzung ärztlicher, therapeutischer oder pflegerischer Tätigkeit durch KI-Komponenten und Ergreifung gezielter Kommunikationsmaßnahmen, um dem drohenden Gefühl einer Verobjektivierung entgegenzuwirken und das Vertrauensverhältnis zu schützen. Die verstärkte Nutzung der KI-Komponenten in der Versorgung darf nicht zu einer weiteren Abwertung der sprechenden Medizin oder einem Abbau von Personal führen.
9. Eine vollständige Ersetzung der ärztlichen Fachkraft durch ein KI-System gefährdet das Patientenwohl und lässt sich auch nicht durch Personalmangel rechtfertigen.