Was ist erklärbare Künstliche Intelligenz? Wie Erklärungen das Vertrauen in der Mensch-KI-Interaktion beeinflussen

Immer häufiger unterstützen KI-Systeme bei Entscheidungen in wichtigen Lebensbereichen wie im Finanzwesen, in der Justiz oder der Medizin. Da solche Entscheidungen weitreichende Konsequenzen für die Betroffenen haben können, ist es besonders relevant, dass sie nachvollziehbar und überprüfbar sind. Moderne KI-Systeme beruhen meist auf statistischen Modellen, die auf Basis von Wahrscheinlichkeiten Entscheidungen treffen. Die interne Modellstruktur kann dabei äußerst komplex sein. KI-Systeme können zwar dadurch große Datenmengen verarbeiten und Muster erkennen, wie sie aber zu ihrem Ergebnis kommen, ist in der Regel nicht nachvollziehbar. Daher werden solche Systeme oft als Blackbox bezeichnet: Nutzende sehen nur Ein- und Ausgaben, nicht jedoch den Weg dazwischen. Da zugrunde liegende Daten und Entscheidungsprozesse nicht transparent sind, kann es schwierig sein, Fehler oder unbeabsichtigte Verzerrungen (Bias) aufzudecken. Insbesondere bei sicherheitskritischen Anwendungen ist es daher wichtig, die Gründe für eine Entscheidung zu verstehen.

Erklärbare KI kann die Transparenz erhöhen und zu einem besseren Verständnis beitragen

Das Forschungsfeld der erklärbaren Künstlichen Intelligenz (Explainable AI, kurz XAI) beschäftigt sich mit der Frage, wie sich komplexe und undurchsichtige Systeme erklären lassen. Es umfasst Methoden, die versuchen, die Entscheidungen von KI-Systemen verständlich, nachvollziehbar und überprüfbar zu machen. Dies soll Nutzenden ermöglichen zu entscheiden, ob sie den Ausgaben eines KI-Systems vertrauen oder nicht und ihr Verhalten entsprechend anzupassen.

Dabei erfüllen Erklärungen mehrere Funktionen:

  • Sie helfen Entwicklerinnen und Entwicklern, Fehler und Biases zu erkennen sowie Modelle zu verbessern und fairer zu gestalten.
  • Sie ermöglichen Nutzenden, Ergebnisse besser einzuordnen und informierte Entscheidungen zu treffen.
  • Sie sind eine Grundlage für Regulierung und Rechenschaftspflicht, etwa im Sinne des EU-AI-Acts.

Doch nicht jede Erklärung ist hilfreich. Manchmal können Erklärungen unverständlich oder verwirrend sein oder zu Missverständnissen führen. Daher gilt es abzuwägen, wann eine Erklärung wirklich sinnvoll ist und welche Erklärung welcher Zielgruppe hilft.

Erklärungsarten im Überblick

Es gibt eine Vielzahl von Methoden, um die Entscheidungen von KI-Systemen nachvollziehbar zu machen. Abhängig davon, mit welchen Daten das System arbeitet, können Erklärungen in Form von Text, Bildern oder Grafiken ausgegeben werden.

Drei Erklärungsarten sind dabei besonders verbreitet:

1. Beispielbasierte Erklärungen

Das System zeigt konkrete Vergleichsfälle:

Wird zum Beispiel ein Kreditantrag ohne Begründung abgelehnt, kann das für Antragstellende sehr frustrierend sein. Um eine solche Entscheidung zu begründen und nachvollziehbar zu machen, können die ausschlaggebenden Kriterien genannt oder vergleichbare Fälle beschrieben werden:„Ihr Antrag wurde abgelehnt, da er einem anderen Fall aus der Vergangenheit ähnelt, der ebenfalls abgelehnt wurde: Der Antragsteller hatte ein ähnliches Jahreseinkommen und eine ähnliche Schuldenhöhe. Ihr Antrag wäre mit einem um 5.000 Euro höheren Einkommen akzeptiert worden.“

Solche Erklärungen sind intuitiv verständlich, da sie sich an menschlichen Erklärungsmustern orientieren – etwa an der Art, wie Menschen im Alltag Fallbeispiele vergleichend gegenüberstellen.

2. Relevanzbasierte Erklärungen

Relevanzbasierte Erklärungen zeigen, welche Merkmale oder Eingabeteile am stärksten zur Entscheidung beigetragen haben.

Diese Erklärungsart ist besonders geeignet, wenn es um visuelle oder strukturierte Daten geht und Nutzende wissen wollen, was das Modell beachtet hat.In Abbildung 1 zeigt beispielsweise eine sogenannte Saliency Map an, an welchen Bildteilen (Pixeln) das Modell in der bildbasierten Qualitätskontrolle einen industriellen Fehler und somit ein defektes Produkt erkannt hat. Saliency Maps werden unter anderem auch für die medizinische Bilddiagnostik eingesetzt.

Abbildung 1: KI-Bilderkennung von industriellen DefektenQuelle: Gramelt, D./Höfer, T./Schmid, U. (2024). Interactive explainable anomaly detection for industrial settings. In: European Conference on Computer Vision (pp. 133–147). Cham: Springer Nature Switzerland. https://arxiv.org/abs/2410.12817© Gramelt, D./Höfer, T./Schmid, U. (2024)

Bei tabellarischen Daten werden entscheidungsrelevante Merkmale beispielsweise in einem Balkendiagramm verdeutlicht. Positive Werte der Merkmale sprechen dabei für die Klasse, negative dagegen. Abbildung 3 zeigt ein Beispiel, in der das KI-System einen Pinguin der Art Zügelpinguin zugeordnet hat und dabei besonders die Länge und Tiefe des Schnabels ausschlagendgebend waren.

Abbildung 2: Erklärung bei Klassifikation tabellarischer Daten: Schnabellänge und -tiefe sprechen für einen Zügelpinguin. Quelle: Abbildung aus dem Experiment des Projekts Ethyde.© Abbildung aus dem Experiment des Projekts Ethyde

3. Konzeptbasierte Erklärungen

Hier wird die Entscheidung durch menschenverständliche Konzepte erklärt, wie Kategorien oder abstrakte Eigenschaften, die das System „gelernt“ hat. Bei Verkehrsschildern sind wichtige Konzepte Form, Farbe und Symbole: So setzen sich beispielsweise allgemeine Gefahrzeichen aus einem roten Dreieck auf weißem Hintergrund und dem Inhalt der Gefahr zusammen, während Geschwindigkeitsschilder aus einem roten Kreis mit der Zahl der zulässigen Höchstgeschwindigkeit bestehen.

Abbildung 3: Binäre Konzeptannotationen (vorhanden/nicht vorhanden) für die Bilderkennung von Verkehrsschildern. Quelle: In Anlehung an Heidemann, L. (2023). Konzeptbasierte Modelle – wie visuelle Konzepte helfen, die Entscheidung einer KI zu verstehen. Fraunhofer-Institut für Kognitive Systeme IKS. Bildlink.© in Anlehnung an Heidemann, L. (2023)

Garantieren Erklärungen Vertrauen?

Erklärungen können die Arbeitsweise von KI-Systemen transparenter machen und dazu beitragen, dass Nutzende ihre Ergebnisse besser beurteilen können. Sie können somit das Vertrauen in KI-Systeme stärken, aber auch blindes Vertrauen verhindern. Der Effekt einer Erklärung hängt stark davon ab, wie sie gestaltet ist, an wen sie sich richtet und in welchem Kontext sie erfolgt. Sind Erklärungen zu komplex, zu lang und werden zudem ungefragt oder aufdringlich präsentiert, können diese kognitiv überfordern oder gar Misstrauen wecken – vor allem, wenn Erklärungen widersprüchlich erscheinen. Vertrauen ist also kein Automatismus, sondern ein Prozess, der durch zielgerichtete Kommunikation gefördert werden muss. Vertrauen in KI ist mehrschichtig und kontextabhängig. Es hängt vom Fachwissen der Nutzenden, der Art der Information und der Bedeutung der Aufgabe ab. Weitere situative und kognitive Faktoren können eine Rolle spielen, etwa ob Nutzende das Gefühl haben, selbstbestimmt entscheiden zu können, statt nur „überzeugt“ zu werden.

Zielgruppengerechte Erklärungen

Damit Erklärungen sinnvoll und zweckmäßig sind, sollten zwei grundlegende Fragen beantwortet werden:

  1. Für wen ist die Erklärung gedacht?
  2. Welches Ziel soll die Erklärung erfüllen?

Welche Zielgruppe sich letztendlich mit der Erklärung und der Ausgabe des KI-Systems auseinandersetzen wird, ist hier vor allem maßgeblich.

  • Laien (Endnutzende ohne Domänenexpertise oder KI-Hintergrund):Benötigen eine verständliche, nachvollziehbare Erklärung, etwa in Form eines Vergleichs mit ähnlichen Fällen oder einfachen Ursachen.
  • Domänenexperten (Fachexperten ohne KI-Hintergrund):Müssen die Verlässlichkeit und Fairness des KI-Systems bewerten und wissen, ob z. B. diskriminierende Faktoren unzulässig verwendet wurden.
  • KI-Expertinnen und ‑experten / Entwicklerinnen und Entwickler:Benötigen technische Erklärungen zur Modellstruktur, Fehlersuche und Modellanpassung. Je nach Zielgruppe müssen die Erklärungsart und die Erklärungskomplexität angepasst werden. Erklärungen müssen nicht jedes Detail offenlegen. Viel wichtiger ist, den richtigen Aspekt im richtigen Moment zu erklären. Gerade für Laien sind kontextbezogene Erklärungen in einfacher Sprache oder mit Beispielen oft weitaus hilfreicher als abstrakte technische Systembeschreibungen.

Fazit: Sinnvolle Erklärungen fördern reflektiertes Vertrauen

Was eine gute Erklärung ist, hängt stark vom Kontext ab. Daher gibt es keine Methode, die in allen Fällen die beste Lösung darstellt. Sie ist Teil der Schnittstelle zwischen Mensch und Maschine. Erklärungen können dazu beitragen, dass Menschen KI-Systemen nicht blind vertrauen, ihnen aber auch nicht pauschal misstrauen. Um dies zu erreichen, sollten Erklärungen verständlich, kontext-gebunden und sinnvoll eingebettet sein.

Forschungsprojekt

Ethische Implikationen hybrider Teams aus Mensch und KI-System (Ethyde)


Weiterführende Literatur

Gramelt, D., Höfer, T., & Schmid, U. (2024, September). Interactive explainable anomaly detection for industrial settings. In European Conference on Computer Vision (pp. 133-147). Cham: Springer Nature Switzerland.

Schmid, U., & Wrede, B. (2022). What is missing in xai so far? an interdisciplinary perspective. KI-Künstliche Intelligenz, 36(3), 303-315.

Samek, W., Schmid, U. et al. (2025): Nachvollziehbare KI: Erklären, für wen, was und wofür. DOI: https://doi.org/10.48669/pls_2025-2

Die vom bidt veröffentlichten Blogbeiträge geben die Ansichten der Autorinnen und Autoren wieder; sie spiegeln nicht die Haltung des Instituts als Ganzes wider. 
Der Beitrag Was ist erklärbare Künstliche Intelligenz? Wie Erklärungen das Vertrauen in der Mensch-KI-Interaktion beeinflussen erschien zuerst auf bidt DE.