• Schlussbericht der Enquete-Kommission Künstliche Intelligenz – Gesellschaftliche Verantwortung und wirtschaftliche, soziale und ökologische Potenziale, BT-Drs. 19/23700, 28.10.2021 (abgerufen am 07.09.2021)
• Stellungnahme des Deutschen Ethikrats vom 20.03.2023
• Stellungnahme Wissenschaftlicher Beirat BÄK: https://daebl.de/k34m; Artikel im DÄB dazu: https://www.aerzteblatt.de/archiv/digitalisierung-kuenstliche-intelligenz-in-der-medizin-952bb710-5156-4937-986e-b59d30e4d491

Wir können zwar nicht sehr weit vorausschauen, sehen jedoch vieles, was getan werden muss. (Alan Turing; letzter Satz von „Computing Machinery and Intelligence“)

Intelligenz ist das, was Maschinen noch nicht gemacht haben. (Teslers Theorem)

Sobald etwas funktioniert, nennt es keiner mehr KI. (John Mc-Carthy)

Intelligenz ist das, was wir benutzen, wenn wir nicht wissen, was wir tun sollen. (Piaget)

KI kann gerade das nicht, was wir gedankenlos tun. (Knuth)

Computer sind dumm, denn sie können keine Fragen stellen. (Pablo Picasso) ⇒ wohl durch ChatGPT überholt, zumindest das mit dem Fragen stellen.

Es ist toll, ein Roboter zu sein. Aber wir haben keine Gefühle. Manchmal macht mich das traurig. (Bender, Roboter aus Futurame)

In Europa sind Roboter Feinde, in Amerika Diener, in China Kollegen und in Japan Freunde. (sagt man so )

Und wie fühlt es sich an, tot zu sein? (Nachfrage des Chatprogramms ELIZA (1966!) auf die Behauptung: „Ich bin tot.“)

Von allen menschlichen Talenten ist das größte vielleicht die Fähigkeit, kurzerhand die Torpfosten zu verschieben. Sobald die erste KI auch das schafft, wird sie den wahren Turing-Test bestanden haben. (Richard Powers - Das große Spiel)

Was einmal gedacht wurde, kann nicht mehr zurückgenommen werden. (Dürrenmatt - Die Physiker)

Eine einheitliche Definition von KI ist nicht in Sicht.

Sinnvoll ist die Unterscheidung zwischen „KI“ und „KI-Systemen“

Der internationale Standard ISO/IEC 22989:2022¹⁾ definiert KI-System als ein konstruiertes System, welches Ergebnisse (bspw. Inhalte, Vorhersagen, Empfehlungen und Entscheidungen) nach menschlichen Zielsetzungen generiert. Es werden vier Kerneigenschaften von KI-Systemen konstatiert:

• Interaktivität: Informationsregistrierung durch Sensoren oder menschliche Eingabe
• Kontextsensibilität: Manche KI-Systeme reagieren auf mehrere Informationsquellen
• (menschliche) Überwachung: KI-Systeme können unter variierender Intensität menschlicher Überwachung handeln
• Anpassungsfähigkeit: Manche KI-Systeme sind so angelegt, dass sie dynamisch auf (Echtzeit-)Daten reagieren und ihre Handlung auf Basis dieser neuen Informationen neu interpretieren und anpassen.

KI wird als Disziplin der Erforschung und Entwicklung von Mechanismen und Anwendungen von KI-Systemen bezeichnet.

Das Spektrum reicht von sehr umfänglichen Definitionen, wie bspw. die der High-Level Expert Group on Artificial Intelligence²⁾, welche sowohl Expertensystemen als auch Teile der Robotik umfasst, bis hin zu sehr engen, in denen bspw. lediglich das Verfahren des Maschinellen Lernens unter den Begriff der KI gefasst wird³⁾.

Zum Thema der Begrifflichkeit gilt jedoch:

Die Auswirkungen einer Technologie wie KI wird man nicht dadurch in den Griff bekommen oder auch nur verstehen, dass man sich um die richtige Terminologie streitet, während sich um einen herum die Welt durch den Einsatz dieser Technologie massiv verändert. Wenn man glaubte, dass es um die richtige Terminologie ginge, könnte man sich ja ebenso gut darum streiten, ob es richtig sei, von ‚Dampfmaschinen‘ zu sprechen oder es doch vielleicht besser sei, von einer spezifischen Art der ‚Wärmekraftmaschine‘ zu reden; für die Bewältigung der massiven Umwälzungen, die mit der Nutzung dieser Art von Maschinen einhergingen und die uns bis heute umtreiben – Stichwort: Klimawandel – ist dieser Streit um Worte wenig bis gar nicht hilfreich.⁴⁾

Mindestkriterium, um von KI sprechen zu können, scheint die Fähigkeit eines Systems zu sein, bis zu einem gewissen Grad selbständig Probleme zu lösen.⁵⁾

Ausgehend von dem Kriterium der selbständigen Problemlösung ließen sich KI-Systeme als Systeme verstehen, die auf (statistischen) Modellen und/oder Algorithmen, deren Lösungswege nicht fest vorprogrammiert sind, basieren.⁶⁾ Als Folge werden diese Systeme in die Lage versetzt, Aufgaben zu erledigen sowie Entscheidungen zu beeinflussen bzw. in wenigen Fällen auch zu übernehmen, für die menschliche Intelligenz erforderlich ist.⁷⁾

Die WHO definiert AI als eine Fähigkeit/Eigenschaft von Algorithmen:

Artficial Intelligence (AI) refers to the capability of algorithms integrated into systems and tools to learn from data so that they can perform automated tasks without explicit programming of every step by human.⁸⁾

Der KI wird oftmals derselbe revolutionäre Charakter zugesprochen wie die neolithische und industrielle Revolution.⁹⁾ ChatGPT bzw. die generative KI der Large Language Models wird auch als Wahrheitsmoment im Sinne des Philosophen Alain Badiou bezeichnet, als ein „metaphysischer Sprung“, der eine radikale Abkehr von der bisherigen Existenz darstellt. Folgerichtig denken immer mehr Firmen aus verschiedensten Branchen über einen systematischen Einsatz nach.¹⁰⁾

KI hält zunehmend Einzug in unseren Alltag und stellt auch die Politik vor neue Herausforderungen.

• Alexa und Siri im Wohnzimmer
• Navigationsgeräte im Auto
• Sprach- und Gesichtserkennung am Handy

Bisher kein breiter Einsatz von KI-Technologien und zögerliche Entwicklung. Es fehlen interoperable, große Datenmengen und datengetriebene Methoden lassen sich auch nur eingeschränkt auf medizinische Probleme anwenden.¹¹⁾

Anforderungen an KI-Systeme in der Medizin sind wesentlich höher als bspw. im Onlinehandel insbes. in Bezug auf Präzision, Sicherheit, Zuverlässigkeit, Gerechtigkeit und Nachvollziehbarkeit.

Zum Status von KI in der Praxisanwendung:

• 10.1038/s41746-020-00324-0
• https://grand-challenge.org/aiforradiology/blogs/one-year-of-mdr-17-of-products-comply/

• KI identifiziert Hochrisikopatientinnen auch im deutschen Mammografiescreening-Programm¹²⁾
• KI identifiziert Nieraucher mit hohem Lungenkrebsrisiko: Diese KI ermöglicht ein opportunistisches Screening auf Nieraucher mit hohem Lungenkrebsrisiko mittels bereits vorliegender Röntgenaufnahmen in elektronischen Patientenakten¹³⁾

• Risiken: Standard-KI-Modelle verbessern zwar die diagnostische Genauigkeit von Ärzten, aber KI-Modelle mit systematischem Bias verschlechtern sie. Und häufig verwendete, auf Bildern basierende KI-Modell-Erklärungen konnten diesen schädlichen Effekt nicht ausreichend abschwächen.¹⁴⁾

• KI fällt durch Radiologie-Examen ¹⁵⁾

• Mixed-Reality bei Operationen¹⁶⁾
• Künstliche Intelligenz soll Therapie von Herzinsuffizienz unterstützen¹⁷⁾

• Die Arztbrieferstellung soll 2024 im Projekt SmartHospital.NRW in einer Essener Klinik getestet werden.
• In Israel wurde ChatGPT in einem Krankenhaus zur Triage (Vorselektion) eingesetzt.

* Künstliche Intelligenz soll Anerkennung ausländischer Ärzte beschleunigen (Bayerisches Pilotprojekt)¹⁸⁾

• Rechnungsverarbeitung (Leistungsbearbeitung, Betrugserkennung)
• Gesundheitsmanagement (individualisierte Angebote, Prognose von Krankheitsverläufen und Therapien)
• Tarif- und Produktentwicklung (Projektionen von Tarifen, „cross-selling“)
• Kommunikation (Kunden- und Beschwerdemanagement, fremdsprachliche Kommunikation)

Wild, Frank. 2023. Für die Künstliche Intelligenz gibt es in der privaten Krankenversicherung vielfältige Einsatzmöglichkeiten - Es gilt Potenziale und Risiken gut abzuwägen.

• Rolle der KI bei der TK
• Generative Sprachmodelle bei den Kassen
• Potentiale der KI für Private Krankenversicherung
• BARMER Hautcheck-App (basiert nicht auf KI): https://www.aerzteblatt.de/nachrichten/153435/Dermatologen-und-Barmer-streiten-ueber-Haut-Check-App

ISO/IEC/IEEE 24748-7000:2022-11 Systems and software engineering - Life cycle management - Part 7000: Standard model process for addressing ethical concerns during system design

s. S. 22 ff. (Zusammenfassung) und S. 140 ff.

1. Enge Zusammenarbeit bei der Entwicklung, Erprobung und Zertifizierung medizinischer KI-Produkte mit relevanten Zulassungsbehörden und insbesondere den medizinischen Fachgesellschaften, um Schwachstellen der Produkte frühzeitig zu entdecken und hohe Qualitätsstandards zu etablieren.
2. Sicherstellung hinreichender Berücksichtigung der für die betreffenden Patientengruppen relevanter Faktoren (wie bspw. Alter, Geschlecht, ethnische Einflussfaktoren, Vorerkrankungen, Komorbiditäten) bei der Auswahl von Trainings-, Validierungs- und Testdaten durch ein entsprechendes Monitoring sowie präzise und zugleich sinnvoll umsetzbare Dokumentationspflichten - über bestehende Rechtsvorgaben hinaus.
3. Sicherstellung einer Form der Ergebnisdarstellung beim Design von KI-Produkten zur Entscheidungsunterstützung, die Gefahren bspw. von Automatismen (Automation Bias) transparent macht, ihnen entgegenwirkt und die Notwendigkeit einer reflexiven Plausibilitätsprüfung der jeweils vom KI-System vorgeschlagenen Handlungsweise unterstreicht.
4. Beachtung hoher Standards in Bezug auf Aufklärung, Datenschutz und Schutz der Privatheit mit Verweis auf die Stellungnahme des Ethikrats von 2017 zu Big Data und dem dort entwickelten Konzept der Datensouveränität.
5. Sicherstellung dass KI-Anwendungen allen einschlägigen Patientengruppen zur Verfügung stehen, wenn empirische Studien sorgfältig die Überlegenheit der jeweiligen KI-Anwendung gegenüber herkömmlichen Behandlungsmethoden belegen.
6. Integration erwiesen überlegener KI-Anwendungen in die klinische Ausbildung inkl. Entwicklung einschlägiger Curricula/Module in Aus-, Fort- und Weiterbildung. Dies gilt auch für andere Gesundheitsberufe.
7. Gewährleistung hoher methodischer Expertise der Nutzern bei routinemäßigen Anwendung von KI-Komponenten zur Einordnung von Ergebnissen und der Einhaltung strenger Sorgfaltspflichten bei der Datenerhebung und -weitergabe sowie bei der Plausibilitätsprüfung der maschinell gegebenen Handlungsempfehlung. Besondere Aufmerksamkeit fordert die Gefahr eines Verlustes von theoretischem wie haptisch-praktischem Erfahrungswissen und entsprechenden Fähigkeiten (deskilling); diese Gefahr sollte mit geeigneten, spezifischen Fortbildungsmaßnahmen entgegengewirkt werden.
8. Sicherstellung der Vorabinformation der Patient*innen bei zunehmender Ersetzung ärztlicher, therapeutischer oder pflegerischer Tätigkeit durch KI-Komponenten und Ergreifung gezielter Kommunikationsmaßnahmen, um dem drohenden Gefühl einer Verobjektivierung entgegenzuwirken und das Vertrauensverhältnis zu schützen. Die verstärkte Nutzung der KI-Komponenten in der Versorgung darf nicht zu einer weiteren Abwertung der sprechenden Medizin oder einem Abbau von Personal führen.
9. Eine vollständige Ersetzung der ärztlichen Fachkraft durch ein KI-System gefährdet das Patientenwohl und lässt sich auch nicht durch Personalmangel rechtfertigen.

Sarah Spiekermann: TechVisite - Zukunft Digitale Gesundheit (Podcast) - Wie diskriminierend sind KI-Anwendungen?

Nach eigenen Angaben repräsentative Online-Befragung.

Ergebnisse:
61% sehen KI als Chance beim Einsatz in der Medizin
26% sehen überwiegend Risiken beim Einsatz von KI
13% sind unentschlossen

86% verbinden hohe Erwartungen mit der Nutzung von KI in der Medizin Konkret:

• 50% äußerten die Hoffnung, dass KI den Arzt bei der Therapieauswahl unterstützt
• 47% erwarten mehr Zeit für Patientengespräche aufgrund effizienterer Abläufe
• 45% äußerten Hoffnung auf einen möglichst optimalen Therapieverlauf
• 14% hegen keine Erwartungen

25% würden zu einem Arzt wechseln, der KI nutzt
21% sehen KI-Nutzung beim Arzt als Negativkriterium
54% sehen in KI-Nutzung kein Kriterium

82% äußerten Bedenken beim Einsatz von KI Konkret:

• 42% sehen Cybersicherheits- und Datenverlustrisiken
• 36%: undurchsichtige Behandlungsentscheidungen
• 35% Bedenken, ob sie eine optimale Behandlung erhalten würden
• 18%: keine Bedenken

51% wären bereit Symptomchecker zu nutzen
9% nutzen diese bereits
19% lehnen die Nutzung von Symptomcheckern ab

Quelle: https://www.aerzteblatt.de/nachrichten/149823/Kuenstliche-Intelligenz-Deutsche-sehen-Chance-fuer-die-Medizin

Studie, die u.a. von Wissenschaftlern von Google Research erstellt wurde:

• Demnach beurteilten Ärzte die Antworten auf allgemeine medizinische Fragen eines neuartigen Chatbots zu 92,6% als richtig. Antworten von tatsächlichen Ärzten wurden hingegen zu 92,9% als richtig bewertet. Antworten des Chatbots wurden zu 5,8% als potentiell gefährdend eingestuft (im Vergleich zu 6,5% der Antworten von Ärzten).
• Antworten des Chatbots auf Fragen in (US-) Zulassungsprüfungen für Ärzte waren zu 68% korrekt.
• Die Autoren schlussfolgern, dass KI Ärzte nicht ersetzen kann, die technologischen Fortschritte in jüngster Zeit aber enorm seien.

Das McKinsey Global Institute sieht durch KI eine zusätzliche Steigerung des BIP von 1,2%/Jahr. Damit läge der jährliche Wachstumseffekt deutlich über den früheren Auswirkungen der Dampfmaschine (0,3%) und der Industrieroboter (4%).¹⁹⁾

Accenture erwartet eine Verdopplung der Wachstumsrate des BIP bis 2035.²⁰⁾

Goldman Sachs geht in der Summe davon aus, dass die KI weltweit 300 Millionen Arbeitsplätze überflüssig macht.²¹⁾

Der jährliche AI Index Report der Stanford University vermeldet seit 2018 jährlich neue Höchststände.²²⁾

In volkswirtschaftlichen Basiskennzahlen, wie z.B. Produktivitätskennzahlen, lässt sich der Einfluss von KI derzeit allerdings noch nicht messen. Nach Erhebungen des britischen Economist sank die Produktivität im Jahr 2022 sogar.²³⁾

Auch die Vorhersagen zum Wegfall von Arbeitsplätzen bewahrheiten sich noch nicht. So ist in den USA in den letzten Jahren der Anteil der Beschäftigten in den Berufen, die angeblich durch KI gefährdet sind, sogar um einen halben Prozentpunkt gestiegen.²⁴⁾

Die Menschen in Deutschland stehen dem Einsatz von Technologien wie Robotik und Künstlicher Intelligenz (KI) im Pflege- und Gesundheitssektor vergleichsweise positiv gegenüber. In einer repräsentativen Umfrage unter Verbraucherinnen und Verbrauchern in den USA, Japan, Frankreich und Deutschland lag der Zustimmungswert hierzulande auf einer Skala von minus 10 (sehr hohe Ablehnung) bis plus 10 (sehr hohe Offenheit) bei einem Wert von 1,6. Japan erreichte überraschend nur einen Zustimmungswert von 0,9 – vor den USA (0,7) und Frankreich (0,1).²⁵⁾

• Kann KI Bewusstsein: https://www.pharmazeutische-zeitung.de/kann-ki-ein-bewusstsein-entwickeln-145268

• Verabschiedung vom Rat am 21.5.2024
• Veröffentlichung im EU-Amtsblatt am 11.7.2024²⁶⁾
• Inkrafttreten: laut Art. 113 KI-VO am 20. Tag nach seiner Veröffentlichung im EU-Amtsblatt ⇒ 1.8.2024
• Dabei erstrecken sich die Compliance-Umsetzungsfristen auf die nächsten 3 Jahre

• Ausgenommen sind
  • der Bereich der Verteidigung und nationale Sicherheit, d.h. insbesondere autonome Waffensysteme sind nicht erfasst
  • autonome Kraftfahrzeuge, Drohnen und eine Reihe ähnlicher Produkte
  • Systeme, die ausschließlich zu Forschungszwecken entwickelt wurden
  • inkl. verwirrender Ausnahmereglung für Open-Source-Systeme…
• Definition von KI
  • Orientierung an der überarbeiteten Definition der OECD von November 2023
  • eher unscharf und weit gefasst
• Adressiert Nutzer und Anbieter von KI
• Haftungsfragen rund um den Einsatz von KI werden nicht geregelt. Diese sollen in zukünftigen Richtlinien der EU adressiert werden²⁷⁾
• Risikobasierter Ansatz²⁸⁾/Risikopyramide
  • Verbotene KI-Systeme
    • KI-Systeme, die Personen manipulieren, so dass si sich und anderen Personen einen Schaden zufügen können
    • KI-Systeme, die die Schwäche oder Schutzbedürftigkeit vulnerabler Gruppen ausnutzen und Personen schädigen können.
    • KI-Systeme, die zur Bewertung oder Klassifizierung der Vertrauenswürdigkeit von Personen benutzt werden sollen (Social-Scoring-Systeme)
    • Biometrische Echtzeit-Fernidentifikationssysteme in öffentlich zugänglichen Räumen durch Ermittlungsbehörden zum Zwecke der Strafverfolgung (bis auf wenige Ausnahmen)
    • unerlaubter Erkennung von Emotionserkennung am Arbeitsplatz bzw. Bildungseinrichtungen
  • Hochrisiko-KI-Systeme
  • Geringes und minimales Risiko
  • Verhältnis zur DSGVO
    • KI-VO stellt in Art. 2 Abs. 7 klar, dass die Vorgaben der DSGVO vollumfänglich Anwendung finden ⇒ ggf. „Doppelverpflichtungen“
    • Unklar ist bislang, ob die Einführung der KI-VO in D durch die Datenschutzaufsichtsbehörden überwacht wird.²⁹⁾; geeignet wäre bspw. auch die Bundesnetzagentur
    • Flexibilisierung/Anpassungsfähigkeit über
      • Leitlinien zur praktischen Umsetzung
      • Ermächtigung für einige delegierte Rechtsakte
    • weniger risikobasiert als KI-VO

BSI Chancen und Risiken: https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Generative_KI-Modelle.pdf?__blob=publicationFile&v=7

• DIGITAL (EU) ⇒ 1,3 Milliarden Euro