Der Vorsitzende des bidt-Direktoriums, Professor Alexander Pretschner, an dessen Lehrstuhl das Tool entwickelt wurde, spricht im Interview über die Potenziale von KI-gestütztem Lernen an den Hochschulen und bestehende Forschungslücken.

An Ihrem Lehrstuhl haben fünf Studierende im Rahmen eines Praktikums das KI-Tool OneTutor entwickelt. Was hat Sie als Informatik-Professor an der Idee überzeugt?

Alexander Pretschner: Ehrlich gesagt war ich am Anfang etwas skeptisch, wie gut ein KI-basiertes Assistenzsystem für Studierende funktionieren würde. Doch die Studierenden haben mich eines Besseren belehrt. Bereits bei den ersten Tests hat das Tutorsystem hervorragende Antworten geliefert. Weil die Studierenden vom Thema so fasziniert waren, wollten sie im Rahmen ihrer Master-Arbeiten die Anwendung weiterentwickeln. Mitte November 2024 haben sie das Tool dann in meiner großen Informatik-Vorlesung mit über 1.000 Studierenden ausgerollt. Von da an ist das Interesse am Werkzeug explodiert!

Heute ist OneTutor an neun verschiedenen Hochschulen im Einsatz – von München bis nach Bayreuth oder Augsburg. Wie funktioniert OneTutor und inwiefern ist bei diesem Tool tatsächlich Künstliche Intelligenz am Werk?

Alexander Pretschner: Die Software verfügt aktuell über zwei Funktionalitäten: Einerseits können Studierende dem OneTutor-System Fragen zu den Inhalten einer bestimmten Vorlesung stellen. Die Antworten werden von einer KI generiert – aktuell dem Sprachmodell ChatGPT von Open AI. OneTutor bezieht sein Wissen dabei nicht allein aus dem „Wissen“ von ChatGPT. Stattdessen können Dozierende Folien und Transkripte von Vorlesungsaufzeichnungen hochladen und damit den Textkorpus spezialisieren. Würde man nur ChatGPT fragen, würde man Beispiele und Erklärungen erhalten, die nicht unbedingt zu den Vorlesungsinhalten passen.

Und die zweite Funktionalität?

Alexander Pretschner: Die zweite Funktionalität ist die Quizfunktionalität. Die KI kann selbstständig Fragen zur Vorlesung erstellen und passende Antworten dazu erzeugen, sowohl Freitext-Fragen als auch Multiple-Choice-Fragen. Diese Fragen können die Studierenden nutzen, um sich Vorlesungsinhalte in Erinnerung zu rufen und zu vertiefen. Wir haben uns dazu entschieden, dass die Dozentinnen und Dozenten die Quizzes kuratieren können und sollen, um hier für eine Qualitätssicherung zu sorgen.

Das Tool übernimmt klassische Aufgaben von Dozierenden: den Dialog mit Studierenden, das Erstellen von Wissensfragen. Hand aufs Herz: Wie gut schneidet die KI ab?

Alexander Pretschner: Ich habe das Tool selbst ein Semester lang in meiner Vorlesung eingesetzt – die Idee war aber nie, den Dozenten zu ersetzen, sondern zu ergänzen. Die Qualität der Chatantworten ist beeindruckend, nur in Einzelfällen kommt es zu komplettem Blödsinn. Negative Rückmeldungen von Studierenden sind im Promille-Bereich. Für Dozierende bedeutet OneTutor eine unglaubliche Arbeitsersparnis – gerade was das Erstellen von Fragen angeht. Jeder, der schon mal ein Quiz erstellt hat, weiß, wie viel Arbeit dahintersteckt. Mit der KI gelingt es, 100 Fragen in einer Stunde zu erzeugen und diese auch noch zu kuratieren.

Gibt es noch weitere Vorteile?

Alexander Pretschner: Das Tool hilft Dozierenden, Verständnislücken bei Studierenden aufzuspüren, indem sie sich jene Fragen anschauen können, die Studierende in einer gewissen Zeitspanne anonym gestellt haben. Auf diese Weise können Dozierende diejenigen Inhalte identifizieren, die sie offensichtlich noch nicht hinreichend erklärt haben. Während man früher in großen Vorlesungen bestenfalls erahnen konnte, welches Thema nicht verstanden wurde, hat man nun ein starkes Feedback-Werkzeug in der Hand.

Unter Federführung des bidt erforschen die beteiligten bayerischen Hochschulen, wie effektiv das KI-Tool den Lernerfolg von Studierenden beeinflusst. Welche Forschungslücke wollen Sie damit schließen?

Alexander Pretschner: Wir wissen bereits, dass die Studierenden KI-Assistenten im Allgemeinen und speziell unser System sehr gerne und intensiv im Studium einsetzen. Das bedeutet aber nicht automatisch, dass das System auch effektiv funktioniert. Wir wissen nicht, ob Studierende damit wirklich besser lernen als zuvor. Bleiben sie länger dabei, haben sie mehr Spaß, können sie sich Dinge besser merken? Diese Fragen der Bildungsforschung interessieren uns in unserem Begleitforschungsprojekt, damit wir das System evidenzbasiert weiterentwickeln können.

Forschungsprojekt

Effektivität generativer KI-Tutoren in der Hochschullehre (AIEffectiveness)

Welche Ergebnisse erhoffen Sie sich von dem Begleitforschungsprojekt – und gibt es bereits erste Hinweise auf die Effektivität des Tools?

Alexander Pretschner: Meine Hoffnung ist, dass wir am Ende verstanden haben werden, an welchen Stellen die Systeme nützlich sind und an welchen nicht. Die Antwort wird nicht sein: Ja, es funktioniert – oder nein, es funktioniert nicht. Es wird darauf ankommen, in welchem Kontext das Tool eingesetzt wird. Ob es ein großer oder kleiner Kurs ist. Ob es eine Vorlesung für Erstsemester-Studierende oder Fortgeschrittene ist. Ob es eine sprachbasierte Wissenschaft wie Jura oder eine technische Wissenschaft wie Informatik ist. Ob es innerhalb der Wissenschaft um faktische Fragen oder Abwägungen geht. Ich würde auch davon ausgehen, dass das Tool in einer anonymen 1.000-Personen-Vorlesung effizienter wirkt als in einem kleinen Kurs mit zehn Leuten. Diese Hypothesen müssen wir überprüfen.

Wie geht das bidt in dem Begleitforschungsprojekt vor und welche Partner werden eingebunden?

Alexander Pretschner: Das bidt hat mithilfe von Forschenden aus der Bildung Fragebögen entwickelt, die von Nutzenden beantwortet werden. Die Ergebnisse korrelieren wir mit den Nutzungsintensitäten der Partnerhochschulen. Im Moment gehen wir dabei eher stichprobenartig vor: Vier Fachhochschulen und fünf Universitäten nutzen das System in jeweils fünf bis zehn Kursen.

Bei der Nutzung des Tools spielt auch Vertrauen eine große Rolle. Inwiefern passt das Projekt damit auch zum neuen Forschungsschwerpunkt „Mensch und generative Künstliche Intelligenz: Trust in Co-Creation“ des bidt?

Alexander Pretschner: Hier gibt es viele Überschneidungen! Mich interessiert vor allem, wie sich das Vertrauen in das System über die Zeit ändern wird. Auch ich selbst war am Anfang eher skeptisch, nun blicke ich ganz anders auf die Potenziale. Menschen sind oft sehr anspruchsvoll in der Bewertung von solchen Tools; wir erwarten, dass die Technologie immer zu 100 Prozent korrekt ist. Sprechen wir mit Menschen, sind wir hingegen viel großzügiger, dabei sagen auch Lehrkräfte, Ärztinnen und Ärzte oder Professorinnen und Professoren nicht immer die hundertprozentige Wahrheit!

Unbegründete Angst vor solchen Technologien ist aus meiner Sicht fehl am Platz – wir können nach den ersten Erfahrungen davon ausgehen, dass unser System keinen Schaden anrichtet und müssen jetzt ganz einfach ausprobieren und verstehen, wo und wie gut solche Systeme funktionieren. Wir laufen sonst Gefahr, dass die Welt an uns vorbeizieht.

Prof. Dr. Alexander Pretschner
Zum Profil

Uns geht es bei solchen Systemen aber stets um eine Ergänzung zur Lehre, menschliche Professorinnen und Professoren und Tutorinnen und Tutoren sollen dadurch nicht ersetzt werden.

Wie geht es nun mit OneTutor weiter?

Alexander Pretschner: Die Studierenden sind gerade dabei, OneTutor in ein Startup zu überführen. Das finde ich sehr unterstützenswert. Der Anwendungsbereich beschränkt sich nicht nur auf Hochschulen und Universitäten, wir sind auch bereits mit potenziellen Partnern aus der Industrie und den Behörden im Gespräch. Was ich an diesem Beispiel faszinierend finde: Wir haben die Möglichkeit, eine Technologie zu bauen, die unmittelbar wirkt, die wir unmittelbar untersuchen können und wo wir Erkenntnisse unmittelbar in die Technologie zurückfließen lassen können. Ich bin der Meinung: Wir sollten in Bayern und Deutschland viel öfter den Mut aufbringen, solche Systeme großflächig auszurollen und parallel zu testen. Sonst stehen in wenigen Jahren Anwendungen aus anderen Ländern vor der Tür.

Herzlichen Dank für das Gespräch!

Das Gespräch führte Anja Reiter

Infos OneTutor

Effektiver studieren mit KI: Bayerische Hochschulen erproben Lernerfolg von Künstlicher Intelligenz im Hörsaal

TU München: OneTutor

Study Smarter with OneTutor

Der Beitrag „Wir wollen verstehen, wo KI-Tutoren sinnvoll eingesetzt werden können“ erschien zuerst auf bidt DE.