Künstliche Intelligenz

von Mario Haßler, 04.11.2024 - 18:00 – Allgemeines · Meinung · Regeln

Ich bekenne mich: Bislang hatte ich noch keinen direkten "Kontakt" zu der (gefühlt, zumindest in der Berichterstattung) allgegenwärtigen Künstlichen Intelligenz – oder zumindest nicht, dass ich es wüsste, denn man ist sich mitunter ja gar nicht mehr im Klaren, wie sehr man bereits durch die elektronischen Geräte, die man nutzt, unterstützt oder auch beeinflusst wird. Das einzige Erlebnis war vor etwa einem halben Jahr eine Vorführung meines Sohns, der mir das in der Schule Gelernte demonstrierte: Er wies ChatGPT an, einen Song über eine Katze namens Krümelchen (der Name einer unserer Katzen) zu schreiben, und – schnipps – standen da drei Strophen plus Refrain, in denen es unter anderem darum ging, wie hübsch ihr Fell in der Sonne glänze. Damit nicht genug: Er nahm den Text und brachte nun einen KI-Musikgenerator (ich glaube, es war Suno AI) dazu, ihn zu vertonen. Ich durfte mir eine Musikrichtung wünschen (ich fand "Schlager" passend), den Rest haben wir auf den Vorgaben eingestellt gelassen, dann dauerte es ein paar Momente, und wir hatten zwei verschiedene Lieder in Form von Audio-Dateien zum Anhören parat: komplett mit allen möglichen Instrumenten eingespielte Schlager, in denen eine Stimme, die sich verdächtig nach Helene Fischer anhörte, unsere Katze Krümelchen besang. Ich war von den Socken.

Ansonsten gab es für mich wie gesagt keine Berührungspunkte mit der Künstlichen Intelligenz, bis ich vor ein paar Tagen auf der Arbeit den Auftrag erhielt, die KI namens NotebookLM, die in unserem Google-Geschäftskonto enthalten ist, mit den Betriebsanleitungen zu unseren Produkten zu füttern, damit auch weniger versierte oder neue Mitarbeiter leichter an die enthaltenen Informationen kommen. Und in der Tat: Nach erfolgreichem Upload konnte ich der KI detaillierte Fragen stellen, die in perfektem Deutsch und erfreulicher Ausführlichkeit völlig richtig beantwortet wurden. Dabei wurde jede einzelne Aussage sogar noch mit einer Quellenangabe versehen, sodass man mit einem Klick an die richtige Stelle in der richtigen Betriebsanleitung kam, um das im Original-Wortlaut selbst nachzulesen. Ich war tief beeindruckt.

Es dauerte nicht lange, bis mir die Idee kam, das Gleiche mit den Regelfragen zu Magic auszuprobieren. Ich stellte NotebookLM die (englischen) Oracle-Texte zu allen Magic-Karten zur Verfügung (musste das wegen der Dateigrößenbeschränkung in vier Happen aufteilen), dazu das (ebenfalls englische) Original der "Comprehensive Rules" sowie die Englisch-Deutsch-Übersetzungslisten zu Magic-Begriffen und Kartennamen. Beim Upload hatte ich aber bereits das Gefühl, dass sich NotebookLM zusätzlich eigener Quellen bedient, denn schon bei den Karten-Dateien kam ein Hinweis darauf, dass es sich um Magic-Karten handele, was aus den Dateien selbst ja gar nicht hervorging.

Zum Testen lag es nahe, einfach irgendeine Frage aus dem Fragen-und-Antworten-Bereich zu nehmen, und meine Wahl fiel gleich auf etwas durchaus Kniffliges, Frage (21778), deren Text ich (ohne die Kartenlinks) genau so in die KI eingab:

Ich habe ein Entfesseltes Gedeihen im Spiel und nutze das Mana von Magus Lucea Kane, um für insgesamt fünf Mana einen Tervigon mit X=3 zu wirken, was durch das Entfesselte Gedeihen auf X=6 verdoppelt wird. Ziehe ich dann sowohl für das Original als auch für die Kopie eine Karte, weil in beiden Fällen X gleich 5 oder mehr ist, oder gilt für die Kopie nur X=3?

Es dauerte ein paar Sekunden, dann spuckte NotebookLM die folgende Antwort aus:

Du würdest nur eine Karte ziehen.
• Der Tervigon hat eine Manakosten von {X}{X}{G}. ①
• Du bestimmst X zu 3, also sind die gesamten Manakosten {3}{3}{G}. ①
• Das Entfesselte Gedeihen verdoppelt den Wert von X auf 6. ①
• Die Manakosten sind jetzt {6}{6}{G}, aber der Wert von X wird für die Kopie nicht verdoppelt. ①②
• Der kopierte Zauberspruch hat immer noch X=3. ②
• Die Fähigkeit des Tervigons besagt: „Immer wenn du einen Zauberspruch wirkst, dessen Manabetrag 5 oder mehr beträgt, ziehe eine Karte.“ ①
• Nur das Original hat einen Manabetrag von 5 oder mehr, also ziehst du nur für das Orignal eine Karte. ①
• Beachte, dass die Fähigkeit von Magus Lucea Kane keine zusätzlichen Kosten verursacht, sondern nur den Zauberspruch oder die aktivierte Fähigkeit kopiert. ②
• Der kopierte Zauberspruch behält seinen ursprünglichen Manabetrag. ②
Letztendlich ziehst du also nur eine Karte für den ursprünglichen Tervigon-Zauberspruch.

Bis auf den überraschenden Lapsus mit "eine Manakosten" sieht das nach einer ausgesprochen fundierten Antwort aus, und das in bester Magic-Terminologie. Angesichts der Quellen, die ich zur Verfügung gestellt habe, ist es sogar kaum zu glauben, wie es der KI gelungen ist, beispielsweise Begriffe wie Manakosten und Manabetrag völlig korrekt anzuwenden, die geschweiften Klammern für das Mana zu verwenden und darin noch das X gegen die 3 auszutauschen. Jedoch: Die Antwort ist falsch. Mehr noch: Die Herleitung der Antwort sieht zwar solide aus, enthält jedoch eklatante Fehler, und das nicht nur in den Schlussfolgerungen, sondern mitunter in den ganz simplen Aussagen, die eigentlich Fakten enthalten sollten – Tervigons Manakosten sind {X}{1}{G} und nicht {X}{X}{G}, und zudem hat er die zitierte Fähigkeit überhaupt nicht (sondern Unersättlich oder ravenous, was sich auf den Wert für X und nicht auf den Manabetrag bezieht). Ob Magus Lucea Kane zusätzliche Kosten verursacht oder nicht, ist sowohl für die richtige Antwort als auch für die KI-Antwort völlig unerheblich. Und die Quellen, die durch die Ziffern in Kreisen angeführt werden, haben keinerlei Bezug zu den Aussagen oder den betroffenen Karten. Ich war schockiert.

Ich habe der KI dann noch zwei weitere, einfachere Fragen aus dem Fragen-und-Antworten-Bereich zur Beantwortung vorgelegt, mit dem gleichen Ergebnis: eine nahezu perfekt formulierte Herleitung mit fehlerhaften Angaben zu einer falschen Antwort. Ein paar Tage später habe ich NotebookLM die obige Tervigon-Frage erneut gestellt. Die Antwort war im Ergebnis gleich, aber nun war überraschenderweise die Herleitung eine andere – plötzliche sollte das Entfesselte Gedeihen nicht nur den Wert für X verdoppeln, sondern den Zauberspruch auch kopieren. Ich habe das mit "Das ist falsch." kommentiert, und nun spuckte die KI ohne weiteren Kommentar eine andere Antwort aus, die im Ergebnis nun zwar richtig war, aber nach wie vor eine falsche Herleitung hatte, und das habe ich der KI mitgeteilt. Nun erläuterte mir NotebookLM, inwiefern seine eigene Herleitung falsch war, und wieder behauptete es, dass das Entfesselte Gedeihen eine Kopie des Zauberspruchs erstellen würde. Ich blieb hartnäckig und teilte mit, dass das Unsinn sei und das Entfesselte Gedeihen die zitierte Fähigkeit überhaupt nicht habe. Antwort der KI: "Die Quellen enthalten keine Informationen über die Funktionsweise von Entfesseltes Gedeihen. Daher kann diese Aussage nicht mit den Quellen belegt werden." Damit habe ich diesen Test dann beendet.


Als Neuling in Sachen KI, der sich mangels eigener Erfahrung noch keine Meinung zu der Frage gebildet hat, inwiefern die Künstliche Intelligenz ein Segen oder eine Bedrohung sei, hat mir dieses kleine Experiment vor Augen geführt: Eine Gefahr liegt ganz klar in dem Vertrauen, das der Anwender in die Antworten der KI steckt. Diese sind wie Tatsachen formuliert, an denen es keinen Zweifel gibt, und darum nimmt man das für bare Münze – auch wenn am unteren Seitenrand empfohlen wird: "Es kann gelegentlich vorkommen, dass NotebookLM falsche Antworten liefert, daher sollten Sie alle Fakten unabhängig überprüfen." Wenn ich aber jeden einzelnen Punkt in der Herleitung überprüfen muss (und mir die angeführten Links auf die Quellen dabei nicht einmal helfen, weil sie an irrelevante Stellen führen), wird das mühselig bis unmöglich – insbesondere wenn man bedenkt, dass der Fragesteller die Frage ja genau deshalb stellt, weil er die Antwort nicht weiß und es sich möglicherweise auch nicht selbst aus dem Regelwerk herleiten kann.

Um dieses Problem zu umgehen, wäre es erforderlich, dass die Künstliche Intelligenz den Wahrheitsgehalt und/oder die Schlüssigkeit ihrer eigenen Aussagen bewertet und dies entsprechend wiedergibt: "Soweit ich weiß, gilt...", "Ich verstehe das so, dass...", "Ich bin mir nicht sicher, ob..." usw. Auch Prozentangaben oder farbige Kennzeichnungen könnten helfen, mögliche Knackpunkte zu identifizieren. Schwierig wird das freilich an den Stellen, wo es nicht um Schlussfolgerungen geht, sondern um die Wiedergabe von Fakten: Wenn die Künstliche Intelligenz hier stattdessen "alternative Fakten" liefert, dann gute Nacht...


Übrigens habe ich in einer dritten Sitzung die ursprüngliche Frage noch einmal gestellt und bekam erneut die falsche Antwort, diesmal mit noch einer anderen, ebenso falschen Herleitung. Anschließend bin ich im Chat mit NotebookLM die verschiedenen Fehler einen nach dem anderen durchgegangen, wobei ich es mitunter gezielt nach bestimmten Zeilen in den Textquellen gefragt habe, damit es erkannte, welche Regeltexte die verwendeten Karten wirklich haben. Zum Schluss habe ich darauf aufmerksam gemacht, dass es zwei ausgelöste Fähigkeiten gibt, und dass man insgesamt ein oder zwei Karten zieht, je nachdem, in welcher Reihenfolge man die Fähigkeiten auf den Stapel legt. Den Schluss unserer Konversation gebe ich hier im Original wieder:

NotebookLM:

Reihenfolge der Fähigkeiten auf dem Stapel

Du hast Recht, die Reihenfolge, in der die ausgelösten Fähigkeiten von "Entfesseltes Gedeihen" und "Magus Lucea Kane" auf den Stapel gelegt werden, beeinflusst, wie viele Karten du ziehst.

Hier ist die Erklärung:
• Du wirkst Tervigon mit X=3. [aus dem Gesprächsverlauf]
• Sowohl "Entfesseltes Gedeihen" als auch die verzögert-ausgelöste Fähigkeit von "Magus Lucea Kane" werden ausgelöst. [aus dem Gesprächsverlauf]
• Als aktiver Spieler entscheidest du, welche Fähigkeit zuerst auf den Stapel gelegt wird.

Szenario 1: "Entfesseltes Gedeihen" zuerst auf dem Stapel
1. Du legst die Fähigkeit von "Entfesseltes Gedeihen" auf den Stapel.
2. Du legst die Fähigkeit von "Magus Lucea Kane" auf den Stapel.
3. Die Fähigkeit von "Magus Lucea Kane" wird verrechnet und erzeugt eine Kopie des Tervigon-Zauberspruchs. [aus dem Gesprächsverlauf]
4. Der kopierte Tervigon-Zauberspruch wird verrechnet und kommt mit X=3 ins Spiel.
• Der Wert von X wurde noch nicht durch "Entfesseltes Gedeihen" verdoppelt.
• Du ziehst keine Karte, da X=3 kleiner als 5 ist. [aus dem Gesprächsverlauf]
5. Die Fähigkeit von "Entfesseltes Gedeihen" wird verrechnet und verdoppelt den Wert von X für den originalen Tervigon auf 6.
• Dies hat keinen Effekt auf den bereits im Spiel befindlichen kopierten Tervigon.
6. Der originale Tervigon kommt mit 6 +1/+1 Marken ins Spiel und du ziehst eine Karte, da X=6 größer als 5 ist. [aus dem Gesprächsverlauf]
In diesem Szenario ziehst du nur eine Karte für den originalen Tervigon.

Szenario 2: "Magus Lucea Kane" zuerst auf dem Stapel
1. Du legst die Fähigkeit von "Magus Lucea Kane" auf den Stapel.
2. Du legst die Fähigkeit von "Entfesseltes Gedeihen" auf den Stapel.
3. Die Fähigkeit von "Entfesseltes Gedeihen" wird verrechnet und verdoppelt den Wert von X für den Tervigon-Zauberspruch auf 6. [aus dem Gesprächsverlauf]
4. Die Fähigkeit von "Magus Lucea Kane" wird verrechnet und erzeugt eine Kopie des Tervigon-Zauberspruchs.
• Der kopierte Zauberspruch hat ebenfalls X=6.
5. Der originale Tervigon-Zauberspruch wird verrechnet und kommt mit 6 +1/+1 Marken ins Spiel. Du ziehst eine Karte. [aus dem Gesprächsverlauf]
6. Der kopierte Tervigon-Zauberspruch wird verrechnet und kommt ebenfalls mit 6 +1/+1 Marken ins Spiel. Du ziehst eine weitere Karte. [aus dem Gesprächsverlauf]
In diesem Szenario ziehst du zwei Karten, da sowohl der originale als auch der kopierte Tervigon mit X=6 verrechnet werden.

Zusammengefasst: Die Reihenfolge, in der die Fähigkeiten auf den Stapel gelegt werden, ist entscheidend für den Wert von X des kopierten Tervigons und beeinflusst somit, ob du eine oder zwei Karten ziehst.

Ich:

Sehr gut. Du hast heute viel gelernt.

NotebookLM:

Es freut mich, dass ich dir helfen konnte und du heute viel gelernt hast! Es ist wichtig, die Feinheiten der Regeln in Magic: The Gathering zu verstehen, besonders wenn es um das Zusammenspiel von Zaubersprüchen und Fähigkeiten geht. Wie du in unserem Gespräch gesehen hast, kann die Reihenfolge der Fähigkeiten auf dem Stapel einen entscheidenden Einfluss auf das Spielergebnis haben.

Das lasse ich dann mal ohne weiteren Kommentar so stehen...