„Ich würde nie über eine Brücke gehen, die ein KI-System allein gebaut hat“

Das Computerprogramm DALL-E 2 kann Bilder aus Textbeschreibungen aufgrund von maschinellem Lernen erstellen – kann ein Algorithmus künstlerisch-kreativ tätig sein?

Ute Schmid: Grundsätzlich bräuchte es zuerst eine Definition, was man unter künstlerisch-kreativ versteht. Ähnlich verhält es sich mit der Frage danach, ob es möglich wäre, dass KI-Systeme Bewusstsein entwickeln könnten. Meiner Meinung nach ist Bewusstsein Voraussetzung für kreatives Schaffen – etwa das Wissen um die eigene Identität, das innere Erleben von Wahrnehmungen und die Fähigkeit, eigene Aktivitäten zu bewerten.

Das von OpenAI entwickelte neuronale Netz DALL-E 2 wird sich zum Beispiel nicht darüber ärgern, wenn ein Bild nicht so gut gelungen ist. Während ein Künstler wie van Gogh sinnliche Wahrnehmung empfindet und die innere Empfindung – sogenannte Qualia – zu Bildern werden lässt, nutzt ein Programm wie DALL-E 2 vorhandene Daten und kombiniert sie. Aber ich muss schon zugeben, dass DALL-E 2 es oft schafft, sehr überzeugende und manchmal auch verblüffende Bilder aus Textbeschreibungen zu erzeugen. Ich möchte mir nicht anmaßen zu definieren, was Kunst ist und was nicht. Was KI-Systeme sicher leisten können, ist es, Bilder, Melodien oder Texte zu generieren, die auf häufig vorhandenen einfachen Mustern basieren. Typische Schlagermusik oder eine idyllische Bergszene können als Variation von Bekanntem generiert werden.

Wo liegen die Grenzen von KI? Sollte eine Maschine irgendwann Verantwortung übernehmen können?

Maschinen werden in vielen sicherheitskritischen Bereichen wie beispielsweise in Kraftwerken oder im Flugverkehr eingesetzt. Das funktioniert im Großen und Ganzen sehr gut und die meisten Menschen vertrauen darauf, dass solche Technologien sicher sind. In diesen Anwendungen haben nicht die Maschinen die Verantwortung. Viele Menschen teilen sich hier in allen Phasen die Verantwortung – von der Entwicklerin über den Qualitätsprüfer bis zur Pilotin und den Fluglotsen. Diese Art von Vorgehen bei der Entwicklung, Qualitätskontrolle und Anwendung von komplexen Technologien, die ja immer auch Softwarekomponenten enthalten, lässt sich auf KI-basierte Systeme übertragen.

Im Gegensatz zu Standardsoftware kann man bei KI-Systemen allerdings keine Garantie geben, dass sich das System korrekt verhält. Handelt es sich um mit maschinellem Lernen aus großen Datenmengen aufgebaute Modelle, so hat die Repräsentativität und Qualität der Daten einen großen Einfluss darauf, wie zuverlässig und robust das KI-System in der Praxis sein wird. Der Einsatz komplexer Systeme – ob mit oder ohne KI-Komponenten, findet in einem komplexen sozio-technischen Gefüge statt. Das heißt, nicht die Technik allein, sondern deren geeignete Einbettung in einem Anwendungszusammenhang entscheidet, wie sicher wir uns sein können. In den allermeisten Einsatzbereichen ist es sinnvoll, dass Mensch und Maschine interagieren:

Die Maschine hilft uns, Komplexität zu meistern, aber die Verantwortung trägt letzten Endes der Mensch.

Prof. Dr. Ute Schmid
Zum Profil

Dies betrifft auch die Frage danach, wer am Ende die Schuld trägt, wenn etwas schiefläuft – der Mensch oder die Maschine. Ich würde niemals über eine Brücke gehen, die ausschließlich von KI berechnet und gebaut worden ist. Immerhin muss es noch Expertinnen und Experten geben, die in der Lage sind, die Berechnungen überprüfen zu können. Das heißt auch, dass wir bei der immer stärkeren Nutzung von KI-Systemen darauf achten müssen, dass wir damit zwar unsere Kompetenzen erweitern, aber es gleichzeitig nicht passieren darf, dass wir Kompetenzen abgeben und verlernen.

KI kann dem Menschen jetzt schon viele Tätigkeiten abnehmen. Eine Frage, die bleibt: Soll sie das zwangsweise auch?

Grundsätzlich sollten wir uns überlegen, welche Bereiche wir – selbst wenn sie von KI-Systemen übernommen werden könnten – doch beim Menschen belassen wollen.

Menschliche Zuwendung sollte nicht durch KI ersetzt werden – sei es die Beziehung von Patienten und Patientin sowie Pflegekraft oder von Lehrkraft und Lernendem. Pflegekräfte können etwa durch KI-Systeme in ihren Dokumentationspflichten unterstützt oder bei körperlich anstrengenden Tätigkeiten durch intelligente Roboter entlastet werden.

Wie Roboter in der Pflege sinnvoll eingesetzt werden können, untersuchen die Forschenden im bidt-Projekt Responsible Robotics. Ein weiteres Beispiel aus dem medizinischen Bereich ist der Einsatz von KI-Systemen bei der Diagnose von Hautkrebs. Der Einsatz von KI hat den Vorteil, dass mehr Patientinnen und Patienten in kürzeren Zeiträumen untersucht werden können. Aber auch hier gilt:

Mit maschinellem Lernen erzeugte KI-Modelle sind immer nur so gut wie der Datensatz, mit dem sie trainiert wurden.

Prof. Dr. Ute Schmid
Zum Profil

Bei der Hauptkrebsfrüherkennung zeigte sich, dass die Modelle bei Menschen mit dunkler Hautfarbe deutlich mehr Fehler machen, da diese in den Trainingsdaten unterrepräsentiert waren. Wieder gilt: KI-basierte Technologien können Menschen in ihrer Arbeit unterstützen. Die Entscheidung über eine Diagnose sollte aber bei den menschlichen Expertinnen und Experten bleiben.

Responsible Robotics (RRAI) Ethische und soziale Aspekte von KI-basierten Transformationen in der Arbeits- und Wissensumgebung des Gesundheitswesens


Reicht es bereits, dass wir KI in der Praxis anwenden können oder bedarf es eines systematischen Wissensaufbaus?

Grundsätzlich werden KI-Systeme immer mehr Bestandteil unseres Alltags sein und entsprechend sollten alle Menschen ein gewisses Grundverständnis davon haben, was KI-Systeme sind, was sie leisten können und was nicht.

Das heißt nicht, dass alle KI-Experten werden müssen, aber wir sollten alle in der Lage sein, reflektiert mit KI-Systemen zu interagieren. Auch wenn es inzwischen zahlreiche staatliche wie private Initiativen gibt, ist meiner Meinung nach eine breite Bildungsoffensive zu Digital Literacy, Data Literacy und AI Literacy notwendig. Nur wenn wir grundsätzlich verstehen, warum uns ein bestimmtes Produkt empfohlen wird, warum wir bestimmte News erhalten oder warum wir bei einem Onlineshop nicht per Rechnung zahlen dürfen, können wir KI-Technologien souverän und selbstbestimmt nutzen.

Für die meisten Berufe – akademische wie nicht akademische – gehören die jeweils in diesem Bereich relevanten KI-Kompetenzen in die Lehrpläne. Beispielsweise basieren immer mehr Anwendungen in der Medizin auf maschinellem Lernen. Zum Verständnis, wie solche KI-Modelle zu bestimmten Diagnosevorschlägen kommen, sind insbesondere Data-Literacy-Kompetenzen wichtig – also Kenntnisse im Bereich Datenerhebung und Statistik. Stellen Sie sich eine Zukunft vor, in der Medizinerinnen und Mediziner sich blind auf die Vorschläge eines KI-Systems verlassen und nicht in der Lage sind, Unsicherheiten des Systems einschätzen können. Mit dem angemessenen Vertrauen in KI-Systeme bei medizinischen Entscheidungen beschäftigt sich übrigens auch das bidt-Projekt:

Verantwortungslücken in Mensch-Maschine-Interaktionen: Die Ambivalenz von Vertrauen in KI


Mit dem Einsatz von KI gehen oftmals ethische Bedenken einher. Inwiefern ist es wichtig, diese technischen Entwicklungen wissenschaftlich zu begleiten?

Technische Entwicklungen mit großen gesellschaftlichen Konsequenzen – sei es Atomkraft, Gentechnik oder KI – sollten meiner Meinung nach immer wissenschaftlich begleitet werden – und zwar interdisziplinär.

Ebenso ist in solchen Bereichen ein breiter gesellschaftlicher Diskurs unverzichtbar. Damit dieser sinnvoll stattfinden kann, ist es wiederum notwendig, dass entsprechendes Wissen möglichst wertfrei vermittelt wird. Kommen wir wieder auf den Einsatz von KI in der Medizin zurück: Hier wären die Perspektiven von Medizinerinnen, Ethikern, Informatikerinnen, aber auch von Pflegewissenschaftlern sowie Patientenvertretungen zu berücksichtigen.

Genau einen solchen Dialog zwischen Forschung und unterschiedlichen Stakeholdern in der Gesellschaft möchten wir seitens des bidt fördern. Es ist wichtig, gerade auch diejenigen einzubinden, die später mit den neuen Technologien arbeiten müssen. KI-Technologien sollten partizipativ entwickelt werden. Ein gutes Beispiel ist der Einsatz des Pflegeroboters GARMI – das Projektteam der Responsible Robotics tauscht sich aktiv mit verschiedenen Stakeholdern wie Auszubildenden, Studierenden und Lehrkräften verschiedener Bildungseinrichtungen für Pflege aus. Auf Basis dieser Gespräche wird untersucht, wie neue KI-Technologien und bestehende Arbeits- und Lebenskonzepte zusammenpassen, welches Wissen sich Pflegekräfte aneignen sollten und welche Erwartungen und Bedenken künftige Pflegekräfte und Patienten haben.

Better together: Sind Mensch und Maschine ein gutes Team? Wohin geht die gemeinsame Reise und worauf kommt es an?

Menschen und Maschinen können gemeinsam produktiver sein als alleine – wenn bestimmte Voraussetzungen erfüllt sind. Wesentlich ist hier die Gestaltung der Interaktionsschnittstelle. Ein klassisches Beispiel: Heute stellt für die allermeisten Kundinnen und Kunden der Kauf eines Zugtickets am Fahrkartenautomaten keine große Herausforderung dar. Als die Automaten neu eingeführt wurden, war das noch anders: Einerseits war der Kaufdialog wenig intuitiv angelegt, andererseits hatten die Kunden noch kaum Erfahrungen mit dem Kauf von Waren durch Interaktion mit einer Bedienoberfläche. Inzwischen gibt es viele Kenntnisse, wie man solche Dialoge sinnvoll gestaltet und die Nutzerinnen und Nutzer haben Routine im Umgang mit solchen Systemen. Ähnlich wird es sich beim Umgang mit KI-basierten Technologien verhalten. Je komplexer die Anwendung, desto wichtiger wird es, dass die Ausgabe eines KI-Systems nachvollziehbar und korrigierbar ist. Ein KI-System, das bei der bildbasierten medizinischen Diagnose, etwa von Darmkrebs, unterstützt, sollte nicht nur eine Tumorklasse ausgeben, sondern auf Nachfrage auch eine Erklärung, auf Basis welcher Information es zu dieser Entscheidung gelangt ist. Diese Nachvollziehbarkeit durch den menschlichen Experten ist eine wichtige Voraussetzung für Kontrolle. Zudem sollte immer ein Veto möglich sein. Der medizinische Experte sollte den Diagnosevorschlag des Systems korrigieren können. Gerade die Korrigierbarkeit ist wichtig, um zu verhindern, dass sich blindes Vertrauen in KI-Systeme entwickelt.

Auch bei Alltagsanwendungen sind Transparenz und Korrigierbarkeit notwendig, damit Menschen ihre Souveränität behalten – ob bei der Smarthomesteuerung oder bei der Empfehlung einer Gesundheits-App.

Herzlichen Dank für das Gespräch!

Das Gespräch führte Nadine Hildebrandt, wissenschaftliche Referentin im Dialog-Team des bidt.

Ute Schmid

Ute Schmid ist Mitglied im Direktorium und im Geschäftsleitenden Ausschuss des bidt. Sie ist Professorin für Kognitive Systeme an der Universität Bamberg und lehrt und forscht seit vielen Jahren im Bereich Künstliche Intelligenz mit Fokus auf menschenähnliches maschinelles Lernen und Methoden für interaktives und erklärendes Lernen. Sie ist Initiatorin und Leiterin der Forschungsgruppe Elementarinformatik (FELI) und engagiert sich seit über zehn Jahren für die Vermittlung von grundlegenden Informatikkonzepten in der Grundschule. Für ihr Engagement für Wissenstransfer im Bereich Informatik, speziell zum Thema KI, für Kinder, Lehrkräfte sowie die breite Öffentlichkeit wurde sie 2020 mit dem Rainer-Markgraf-Preis ausgezeichnet. Ute Schmid ist Mitglied im Bayerischen KI-Rat.

Der Beitrag „Ich würde nie über eine Brücke gehen, die ein KI-System allein gebaut hat“ erschien zuerst auf bidt Deutsch.