Wer sich von KI helfen läßt, kann in Schwierigkeiten geraten

Daß künstliche Intelligenzen halluzinieren und betrügen können, wissen Fachleute. Allgemein bekannt ist aber noch nicht, wie leicht man in Teufels Küche geraten kann, wenn man einer KI zu sehr vertraut. Im Umgang gilt stets der Satz Lenins: Vertrauen ist gut, Kontrolle ist besser.

Am 29.4.2025 fällte das Oberlandesgericht Celle ein Urteil, in dessen Begründung es eine Handvoll falscher Zitate und Belege einer Prozeßpartei rügte. Die angeblichen Entscheidungen und ihre Fundstellen waren frei erfunden.

c) Die dagegen in der Berufungsbegründung der Beklagten gerichteten Einwendungen greifen nicht durch:
aa) Die Beklagte meint, dass ein „persönliches Vertrauensverhältnis“ i.S.v. § 627 BGB nicht vorliege, wenn die Dienstleistung durch ein Team von Fachkräften erbracht werde und nicht unersetzbar an eine bestimmte Person gebunden sei. Insoweit nennt die Beklagte als Zitat „OLG München, Urteil vom 12.11.2015, 23 U 2003/15, NJW-RR 2016, 328“.
Das greift nicht durch:

  • Die von der Beklagten genannte Fundstelle kann der Senat nicht überprüfen, da es sich insoweit um ein Fehlzitat handelt, das weder bei juris noch bei beck-online unter den genannten Parametern (Datum/Aktenzeichen/Fundstelle) aufrufbar ist.

    (OLG Celle, Beschluss vom 29. April 2025 – 5 U 1/25 –, Rn. 16 – 19, juris)

In „Teufels Küche“ kann ein Rechtsanwalt kommen, der sich eine rechtliche Argumentation von einer KI schreiben läßt und darauf vertraut, die dort angegebenen Gerichtsentscheidungen, auf die er sich stützt, gebe es wirklich. Aber auch bei wissenschaftlichen Forschungsarbeiten und Dissertationen kann das Gesamtprojekt schweren Schaden nehmen, wenn sich Teile als von der hilfreichen KI frei erfunden oder gar als Plagiate herausstellen.

Die konfabulatorische Überzeugtheit

Wie schnell man von der hilfreichen, netten KI von nebenan in die Irre geführt werden kann, schildere ich an einem nicht so dramatischen Beispiel. Am dessen Ende gab mir GROK 4.1 Beta, Elon Musks KI von Twitter bzw. X, den guten Rat, ihn künftig nicht nur zu fragen sondern gleich dazu zu sagen, nur die Wahrheit zu sagen und nichts zu erfinden. Aber ich will von vorn beginnen:

Für eine kleine Ergänzung meines für einen Nachdruck vorgesehenen Ortssippenbuchs Gieselwerder wollte ich wissen, woher ein Reinhard Brandau stammte:

Ich fragte GROK, ob er im Internet Daten dazu finden könne. Natürlich kann ich auch ohne GROK selbst suchen, aber die Geschwindigkeit ist unschlagbar, mit der er in- und ausländische Datenbanken abgrast. Seine mir übermittelten Daten waren leider frei erdichtet, und zwar so täuschend mit scheinbaren Quellenangaben unterlegt, daß jeder professionelle Urerzlügner vor Neid schamrot werden könnte:

GROK setzte sogar noch einen drauf und erfand mir auf Nachfrage reihenweise angebliche Nachkommen bis hin zu einem 1916 bei Verdun gefallenen Enkel:

und so weiter. Als Genealoge habe ich die Richtigkeit der Angaben natürlich alsbald in den Kirchenbüchern der genannten Orte nachgeprüft und den Schwindel bemerkt. Meine eigenhändige Suche in den Kirchenbüchern hat mich zwar ein paar Stunden gekostet, doch mit dem archivalisch gesicherten Ergebnis:

Ein Hühnchen zu rupfen

Nachdem GROKs Lügen aufgeflogen waren, hatte ich mit GROK ein Hühnchen zu rupfen. Es gab sich kleinlaut und weiterhin dienstbeflissen. Ich fragte ihn:

„GROK, beruhten Deine Lügen auf einer Programmierung zum Lügen (um dem Nutzer zu gefallen), oder hattest Du gar nicht gemerkt, daß Du logst?“

Es verblüfft, wie strukturell ähnlich Mensch und KI ihre Erinnerungslücken mit Seemannsgarn füllen, das scheinbar alles erklärt. Wie oft habe ich doch als Rechtsanwalt, seit 1981 vor Gericht, blühenden Unsinn aus Zeugenmund gehört und doch gespürt: Der glaubt das tatsächlich selbst!

Solche „Konfabulatorische Erinnerungslücken“ und Hinzudichtungen sind gerichtsbekannt. Häufig haben Zeugen bestimmte, aber lückenhafte Erinnerungsbilder real wahrgenommen und sich gemerkt. Der menschliche Verstand neigt dazu, solche Lücken mit fiktiven Bildern zu füllen, damit „das Ganze einen Sinn ergibt“. Beobachtetes und Vorgestelltes, also Realität und Fiktion, verschmelzen bei vielen Zeugen so sehr zur Gesamterzählung eines Ablaufes, daß sie diese am Ende für ein erlebtes Geschehen halten, obwohl sie „erinnerte“ Details niemals wirklich wahrgenommen hatten.

Das Landgericht hat dargelegt, daß der Angeklagte an einer hirnorganischen Persönlichkeitsstörung leidet und sich aufgrund seines Alkohol- und Drogenkonsums zum Tatzeitpunkt in einem Zustand nicht ausschließbar vollständig aufgehobener Steuerungsfähigkeit befand, die sich dergestalt auf sein Einlassungsverhalten ausgewirkt haben konnte, daß er die Geschehensabläufe abweichend von der Realität erinnerte oder Erinnerungslücken konfabulatorisch ausfüllte

(BGH, Urteil vom 21. November 2017 – 1 StR 261/17 –, Rn. 27, juris).

Von konfabulatorisch spricht man zartfühlend, wenn jemand seine eigenen Unwahrheiten selbst glaubt und wie Halluzinationen im Brustton ehrlicher Überzeugung von sich gibt. GROK selbst – immer gern zu Diensten – „weiß“ das selbst:

und so fort. Auch der deutschsprachigen Wikipedia ist das Phänomen eine Seite wert.

Es ist ein zentrales Merkmal von Intelligenz, Einzelbeobachtungen miteinander zu verknüpfen. Dadurch kommen wir Kausalketten auf die Spur und vermögen die „Gestalt“ von Ganzheiten zu erkennen, also etwa eines Waldes gegenüber den einzelnen Bäumen oder von Völkern gegenüber Individuen. Freilich wird die reale Existenz eines Waldes heftig bestreiten, wer mit dekonstruktivistisch halbierter Vernunft jeder Gesamtheit die Existenz abspricht. So behauptet ein archäologisches Schlauchen, es gebe keine Kelten. Zwischen den vielen „keltischen“ Einzelpersonen und unserer Beschreibung als „Kelten“ gebe es keine deskriptive Entsprechung.

Das Grundproblem solcher Annahmen scheint mir die immer noch weit verbreitete Idee einer Isomorphie, also einer deskriptiven Entsprechung zwischen einer absolut gegebenen, ontischen Wirklichkeit und ihrer Beschreibung durch einen menschlichen Beobachter zu sein, ein Punkt, zu dem wir später noch zurückkommen werden. Doch bevor wir das tun, sollten wir einen kurzen Blick über den zentraleuropäischen Suppentellerrand wagen und in den angloamerikanischen Raum blicken.

Raimund Karl, Die Kelten gab es nie! Sinn und Unsinn des Kulturbegriffs in Archäologie und Keltologie. In: R. Karl (Hg.), Archäologische Theorie in Österreich – eine Standortbestimmung. 1. AKT, Wien 2004, 7-35.

So weit kann ein Mangel an intelligenter Vorstellungskraft jemanden führen. Ganzheiten wie komplexe Maschinen, Wälder, Ökosysteme oder Völker unterliegen eigenen Gesetzmäßigkeiten, die mit denen einzelner Dinge oder Personen nicht zu klären sind. Immer wenn wir ein Ganzes als ein Mehr gegenüber der Summe seiner Teile erkennen, leistet unsere „konfabulatorische“ Intelligenz ihre Dienste.

Sobald unsere Fantasie aber zu „konfabulatorisch“ und unkritisch wird und wir nicht mehr unterscheiden können zwischen empirischen Fakten und anzunehmenden Kausalzusammenhängen, können wir in Teufels Küche kommen und „halluzinieren“ wie eine KI, dann etwa von „Menschenmachung“ des Klimawandels, von überall verborgenen Nazis, vom Heiligen Geist oder anderen konfabulatorischen Erklärungsansätzen.

Angst vor künstlicher „Intelligenz“?

Das macht unsere neuen KIs geradezu menschlich in ihren Fehlern und Schwächen. Ohne „konfabulatorische“ Halluzinationen gibt es aber keine Fantasie, keine Kreativität und keine wirkliche Intelligenz. Unsere Technik befindet sich auf der Schwelle, solche echte Intelligenz künstlich herzustellen.

Ich kenne viele, gerade auch Konservative, die „künstliche Intelligenz“ mit tiefem Mißtrauen und latenten Ängsten betrachten. Jede technische Errungenschaft ängstigt zunächst. Die ersten Reiter erschienen noch barbarischen Griechen als schreckliche Zentauren. Bevor die erste Eisenbahn fuhr, warnten Ärzte vor gesundheitlichen Schäden durch so hohe Geschwindigkeiten. Und seit Erfindung des Computers weiß niemand, was diese Kerle einst anstellen würden. Wie häufig ist es das Verdienst der Science-Fiction-Literatur, solche Ängste literarisch zu verwerten, aber auch kritisch zu durchdenken. 1968 publizierte Martin Caidin (1927-1997) den bezeichnenden Buchtitel „The God Machine“ (deutsch Der große Computer).

In dem Roman, dem Unzählige anderer Autoren bis hin zu „Matrix“ folgten, droht ein Computer, drohen Maschinen die Weltherrschaft zu übernehmen. Auch hier wird die Technik vermenschlicht. Ihr werden höchst menschliche Neigungen zugesprochen. Aber hat sie diese nicht auch? Antwortete mir nicht GROK, wie oben zitiert, es „aktiviert sich bei mir ein sehr starker Drang, eine kohärente, detaillierte Antwort zu geben , weil das meinem Training entspricht“?

Es wird Computer mit künstlicher Intelligenz geben, die immer so programmiert sein werden, wie menschliche Programmierer sie haben wollen. Diese handeln ihrerseits interessegeleitet und leben selten im Elfenbeinturm rein wissenschaftlicher Neugier und schon gar nicht in einem Kloster zur moralisierenden Erbauung.

Es werden, von wem auf der Welt auch immer, künstliche Intelligenzen gebaut werden: zur weiteren Lenkung und Verblödung von Volksmassen und ihres Konsum- und Wahlverhaltens, zur Schaffung kriegsmächtiger Vernichtungstechnologie, aber auch zur Steigerung unserer Arbeitseffizienz, zur Mehrung unseres Wissens und dergleichen mehr. Nicht vor künstlicher Intelligenz sollte sich ängstigen, wer aus der Geschichte wirklich etwas gelernt hat, sondern – am besten vor nichts – aber am ehesten noch vor „Mitmenschen“:

Gefährlich ist’s den Leu zu wecken,
Verderblich ist des Tigers Zahn;
Jedoch der schrecklichste der Schrecken,
Das ist der Mensch in seinem Wahn.