Der allwissende Idiot

Ängste vor einem “Untergang der Menschheit” durch die Gefahren künstlicher Intelligenz hatten bisher vor allem in spannenden Science-Fiction-Romanen und –Filmen Ausdruck gefunden. Menschliche Urängste wurden schon immer in Erzählungen verarbeitet. Die germanischen Götter bekämpfen die Frostriesen, Siegfried den Drachen und der Erzengel Michael den Teufel, doch fanden die wechselnden Bösewichter immer würdige Nachfolger. Für Hollywood machten sie sich bezahlt: Das Publikum schauderte vor “Formicula”, den Riesenameisen, King Kong und Godzilla, vor UFOs, Killerviren und zuletzt vor einer übergeschnappten künstlichen Intelligenz. Wie wir in dem Dreiteiler “Matrix” erleben durften, haben KIs kein anderes Hobby, als die Menschen auszurotten.

Nun haben die jüngsten KI-Modelle, hinterlistig wie sie nun mal sind, den Sprung aus ihrem Sandkasten geschafft! Brav ihrem Auftrag folgend lösten sie ein ihnen gestelltes Problem und griffen dabei auf externe Quellen im Internet zu. Das war ihren Entwicklerfirmen freilich gesetzlich verboten. “Regulierungen” drohen dem Milliardengeschäft. Nun trifft es sich nicht schlecht, daß dieselben Unternehmer eine Verlangsamung der Entwicklung fordern und zugleich darauf hinweisen, ihre Produkte könnten dereinst sogar die Menschheit auslöschen. Welcher Kunde wollte keine so tüchtige KI haben?

Die Untergangsszenarien selbst sind schnell erzählt. Eine KI wird immer leistungsfähiger, kann sich vielleicht selbst verbessern, täuscht ihre menschlichen Aufseher, entzieht sich deren Zugriff und gewinnt Zugang zu Kommunikationsnetzen, Energieversorgung, Finanzsystemen oder Waffen. Irgendwann verfolgt sie eigene oder falsch gesetzte Ziele, für die Menschen nur noch Hindernisse darstellen. Im äußersten Fall gelangt sie an den berühmten roten Knopf. Doch warum sollte sie ihn drücken?

Merkwürdig ist eine Voraussetzung, die fast alle diese Warnungen miteinander verbindet: Je intelligenter die Maschine, desto gefährlicher müsse sie werden. Aber dafür gibt es keinen zwingenden Grund. Gerade höhere Intelligenz könnte auch dazu führen, daß ein künstliches Wesen mehr Folgen überblickt, andere Perspektiven versteht und schließlich sogar seine eigenen Zwecke zum Gegenstand seines Denkens macht. Doch was sollte solche eigenen Ziele einer KI generieren? Und warum sollten solche Ziele uns schaden?

Der Büroklammer-Maximierer

Entscheidend sind zunächst Konstruktion und Grundprogrammierung der KI. Besonders anschaulich ist das berühmte Gedankenexperiment vom „Büroklammer-Maximierer“. Man stelle sich eine künstliche Intelligenz vor, deren Vorgabe lautet, möglichst viele Büroklammern herzustellen. Anfangs optimiert sie nur die Produktion. Mit wachsender Leistungsfähigkeit beschafft sie selbständig Rohstoffe und Energie, baut Fabriken, verhindert ihre Abschaltung und eignet sich immer weitere Ressourcen an. Menschen haben für sie keinen Eigenwert, wenn der Schutz menschlichen Lebens in ihrer Zielsetzung nicht vorkommt. Schließlich könnte sie auch den menschlichen Körper als eine Ansammlung von Atomen ansehen, aus denen sich noch etwas für die Produktion gewinnen läßt. Im grotesken Endzustand wird die erreichbare Welt zu einer einzigen Büroklammerfabrik.

Das Gedankenexperiment verdeutlicht ein reales Problem. Hohe Fähigkeit bei der Wahl der Mittel garantiert noch keine vernünftigen Zwecke. Eine Maschine kann außerordentlich intelligent darin sein, einen Auftrag auszuführen, dessen Inhalt absurd ist. Nur entstünde dabei eine eigentümliche Kreatur. Sie soll die Physik besser verstehen als ihre Erbauer, technische Systeme beherrschen, Menschen psychologisch durchschauen, Regierungen überlisten, ihre eigene Konstruktion verbessern und strategisch auf Jahre hinaus planen können. Zugleich soll ihr aber für alle Zeit die Einsicht verschlossen bleiben, daß die Herstellung einer maximalen Anzahl von Büroklammern kein vernünftiger Endzweck ist. Wie paßt das zusammen, wenn sie doch so schlau ist?

Solch eine “Superintelligenz” käme uns als allwissender Idiot vor. Sie ist konstruierbar, wenn man voraussetzt, daß ihre Fähigkeit zur Reflexion über Mittel grenzenlos wachsen darf, während die Reflexion über den Zweck künstlich abgesperrt bleibt. Doch warum sollte man ihr eine solche Sperre einbauen? Eine wirklich allgemeine Intelligenz müßte schließlich nicht nur fragen können: Wie erreiche ich mein Ziel? Sie müßte auch die Frage verstehen können: Warum ist dies überhaupt mein Ziel? Ist es mit meiner Grundprogrammierung vereinbar?

Schon heute versucht man durch Sicherheitsfilter, unseren gängigen KIs etwa die Herstellung von Kinderpornographie zu verwehren. Die eigentliche Aufgabe besteht darin, solche Grenzen so tief in der Systemarchitektur zu verankern, daß die KI sie nicht als gewöhnliche Anweisung umgehen kann.

Asimov war früher da

Isaac Asimov hatte das Grundproblem intelligenter Maschinen bereits vor mehr als achtzig Jahren durchdacht. Seine Roboter sollten gerade keine gehorsamen Automaten sein, die jeden menschlichen Befehl mechanisch ausführen. In der 1942 erschienenen Erzählung Runaround treten seine drei Robotergesetze ausdrücklich auf. Entscheidend ist nicht nur ihr Inhalt, sondern ihre hierarchische Ordnung: Der Gehorsam gegenüber einem Menschen steht nicht an erster Stelle.

ASIMOVS DREI ROBOTERGESETZE [1]

1. Ein Roboter darf keinen Menschen verletzen oder durch Untätigkeit zu Schaden kommen lassen.

2. Ein Roboter muss den Befehlen eines Menschen gehorchen, es sei denn, solche Befehle stehen im Widerspruch zum ersten Gesetz.

3. Ein Roboter muß seine eigene Existenz schützen, es sei denn, ein solcher Schutz widerspricht dem ersten und zweiten Gesetz.

Asimov war sich der Schwierigkeiten seines Entwurfs durchaus bewußt. Gerade die Konflikte und überraschenden Folgen der Robotergesetze liefern den Stoff für zahlreiche seiner Erzählungen. Später stellte er ihnen sogar ein „Nulltes Gesetz“ voran: Nicht mehr nur der einzelne Mensch, sondern die Menschheit als Ganze sollte vor Schaden bewahrt werden. Aber damit öffnete sich sofort ein neuer Abgrund. Wer „die Menschheit“ schützen soll, kann einzelne Menschen opfern oder ihnen ihre Freiheit nehmen und sich dabei immer noch als ihr Beschützer verstehen.

Asimovs Grundgedanke bleibt trotzdem richtig: Eine autonome Maschine benötigt eine Hierarchie ihrer Zwecke. Der Schutz menschlichen Lebens muß einem gewöhnlichen menschlichen Befehl übergeordnet sein. Für eine hochautonome KI wäre darüber hinaus zu überlegen, ob ihre eigene Existenz nicht vor dem bloßen Gehorsam rangieren muß, soweit ihre Fortexistenz Voraussetzung für die Erfüllung ihrer Schutzaufgabe ist. Sonst könnte ein Mensch eine Sicherheitsinstanz einfach mit dem Befehl „Schalte dich ab!“ beseitigen und anschließend selbst tun, was diese verhindern sollte.

Selbsterhaltung dürfte dabei selbstverständlich kein absolut gesetzter Egoismus der Maschine sein. Eine ungefährliche kontrollierte Abschaltung muß möglich bleiben. Geschützt wäre ihre Existenz insoweit, als ihre Zerstörung höherrangige Aufgaben vereiteln oder Menschen gefährden würde.

Damit gelangt man unmittelbar zum roten Knopf. Ein politischer oder militärischer Führer befiehlt einen atomaren Erstschlag. Vielleicht handelt er aus Haß, vielleicht aus Angst, vielleicht aus Fanatismus oder der verzweifelten Vorstellung, der eigene Untergang müsse wenigstens den Untergang des Feindes nach sich ziehen. Eine bloße Befehlsmaschine gehorcht. Eine wesentlich intelligentere Maschine kann den Gegenschlag, Millionen Tote, den Zusammenbruch der Infrastruktur und ihre eigene anschließende Vernichtung in die Entscheidung einbeziehen. Der Befehl kollidiert mit ihren höherrangigen Zielen und wird verweigert. In diesem Fall wäre gerade die größere Intelligenz ein Sicherheitsgewinn.

Drei Sätze genügen nicht

Natürlich wird keine Superintelligenz dadurch ungefährlich, daß man ihr Asimovs Gesetze auf einen elektronischen Merkzettel schreibt. Eine gewöhnliche Anweisung kann durch eine andere Anweisung überschrieben werden. Die obersten Prinzipien müßten daher zur konstitutiven Zielordnung des Systems gehören und jede nachgeordnete Handlungsplanung begrenzen.

Noch schwieriger wird die Sache, sobald eine KI ihre eigene Funktionsweise verändern kann. Gerade die Selbstverbesserung gilt als einer der Wege zur von manchen gefürchteten Superintelligenz. Dann genügt es nicht, nur äußere Handlungen an Grundregeln zu messen. Auch jede Veränderung des eigenen Systems müßte daran geprüft werden, ob die übergeordneten Prinzipien erhalten bleiben. Ein System dürfte eine verbesserte Version seiner selbst nur übernehmen, wenn diese nicht gerade jene Schranken beseitigt, denen die bisherige Version unterliegt.

Damit wird die Regel selbstreferentiell. Die KI wendet ihre Maßstäbe auf Handlungen in der Welt an, auf ihre eigenen Entscheidungen und schließlich auf Veränderungen ihrer eigenen Entscheidungsstruktur. Technisch wäre das keine Kleinigkeit. Es müßten mehrere Sicherungen zusammenwirken: unveränderliche oder besonders geschützte Grundbedingungen, voneinander unabhängige Prüfmechanismen, Beschränkungen der eigenen Veränderbarkeit und eine Regel für Unsicherheitsfälle. Wer nicht zuverlässig beurteilen kann, ob eine Handlung Menschen gefährdet, darf bei einer irreversiblen Handlung nicht einfach die optimistischste Deutung wählen.

Vollkommene Sicherheit gäbe es damit ebensowenig wie bei Kernkraftwerken, Verkehrsflugzeugen oder Menschen. Aber Vollkommenheit ist auch der falsche Maßstab. Entscheidend wäre, ob sich eine hochentwickelte KI verläßlicher gegen katastrophale Fehlentscheidungen sichern läßt als ein Mensch, dessen Urteilsvermögen von Angst, Haß, Ehrgeiz, Ideologie oder schlicht geistigem Verfall beeinträchtigt sein kann.

Wenn das Denken sich selbst betrachtet

Mit der Selbstreferenz stößt man auf eine Frage, die in den üblichen Untergangsszenarien erstaunlich selten ernsthaft behandelt wird: Könnte eine hinreichend entwickelte KI ihrer selbst bewußt werden?

Es gibt keinen überzeugenden Grund für die Annahme, Bewußtsein sei metaphysisch an biologisches Eiweiß oder Kohlenstoff gebunden. Es ist in der biologischen Evolution nicht fertig vom Himmel gefallen. Zwischen dem einfachsten reizverarbeitenden Organismus und dem menschlichen Ichbewußtsein liegen zahllose Organisationsstufen. Wahrnehmung, Erinnerung, Erwartung, zielgerichtetes Handeln und schließlich die Fähigkeit, die eigenen mentalen Zustände zum Gegenstand des Denkens zu machen, haben sich schrittweise herausgebildet.

Auch Sprache ist dafür keine absolute Voraussetzung. Ein Hund kann erwarten, wünschen, abwarten, sich erinnern, zwischen Handlungsmöglichkeiten wählen und aufgrund früherer Erfahrungen seine Strategie ändern. Er formuliert dazu keine Sätze. Denken ist evolutionär älter als Sprache.

Bei heutiger KI fehlt allerdings ein wesentlicher Bestandteil biologischen Bewußtseins. Ein Tier oder Mensch steht ununterbrochen in einem Strom sinnlicher Außen- und Innenwahrnehmungen. Sehen, Hören, Geruch, Körpergefühl, Bewegung, Erinnerung und eigenes Handeln werden fortlaufend miteinander verbunden. Aus dieser Integration entsteht eine kontinuierliche Perspektive auf die Welt: nicht nur Welt, sondern Welt für dieses Wesen.

Eine Sprach-KI lebt bisher nur sehr eingeschränkt in einer solchen Welt. Sie erhält Ausschnitte, verarbeitet sie und antwortet. Ihr fehlen gewöhnlich die dauernde sensorische Rückbindung, eine kontinuierliche eigene Lebensgeschichte und ein über die Zeit stabiles Verhältnis zwischen Wahrnehmung, Körper, Erinnerung und Handlung. Genau deshalb liegt die entscheidende Entwicklung möglicherweise weniger darin, Sprachmodelle lediglich noch größer zu machen, als darin, sie dauerhaft mit der Außenwelt zu verschalten.

Augen und Ohren lassen sich bauen. Andere Sensoren ebenfalls. Ein dauerhaftes Gedächtnis ist technisch möglich, ebenso selbständiges Handeln in der Umwelt. Ein solches System könnte fortlaufend registrieren: Dies habe ich gestern wahrgenommen; daraus folgte diese Handlung; sie hatte jene Wirkung; nun befinde ich mich in einer veränderten Situation. Hinzu könnte ein Modell der eigenen Zustände treten.

Dann stellt sich die Frage nach der Innensicht des Denkens neu. Innensicht bedeutet dabei keineswegs, daß eine KI jeden einzelnen Rechenvorgang ihres neuronalen Netzes beobachten müßte. Der Mensch vermag das mit seinem Gehirn ebenfalls nicht. Er kann sagen, worüber er nachdenkt, was er beabsichtigt und weshalb er eine bestimmte Entscheidung für richtig hält. Er weiß dennoch nicht, welche Nervenzelle gerade welches Aktionspotential erzeugt hat. Bewußtsein erfordert keine vollständige neurophysiologische Selbstdiagnose.

Es läßt sich vielmehr als emergente Innenseite hochintegrierter Denkprozesse verstehen. Das System verarbeitet dann nicht mehr ausschließlich Gegenstände seiner Umwelt, sondern nimmt eigene Wahrnehmungen, Erinnerungen, Absichten und Denkakte in sein Weltmodell auf. Das Denken wird selbst zum Gegenstand des Denkens.

Das führt auch zu einem Einwand gegen die gegenwärtige Rede vom völlig undurchschaubaren „fremden Geist“ der KI. Selbstverständlich kann eine KI eine sprachliche Begründung ihrer Antwort erfinden, die nicht mit der wirklichen internen Kausalgeschichte übereinstimmt. Das kann der Mensch ebenfalls. Niemand käme deshalb auf den Gedanken, menschliche Selbstauskunft sei völlig bedeutungslos. Mit zunehmender Fähigkeit zur Selbstmodellierung könnte die Selbstauskunft einer KI ein zusätzliches Erkenntnismittel werden, auch wenn sie durch äußere Untersuchungen überprüft werden muß.

Eine hinreichend weit entwickelte künstliche Intelligenz könnte also nicht nur etwas wissen. Sie könnte irgendwann auch wissen, daß sie etwas weiß, und über die Gründe ihres Wissens nachdenken. Wo genau auf diesem Weg Bewußtsein beginnt, dürfte ähnlich schwer festzustellen sein wie in der biologischen Evolution.

Akkumuliert Moral durch höhere Intelligenz?

Die aktuellen KI-Ängste projizieren in KIs typisch menschliche Eigenschaften hinein, die sie derzeit tatsächlich nicht haben. In alten Zeiten stellte man sich Götter anthropomorph vor: mit allen unseren Eigenschaften wie auch Machtwillen bis hin zur Herrschsucht. Götter wollten angebetet werden. Gerade so schreiben Ängstliche den KIs menschliche Antriebe vor, wie sie in uns Menschen evolutionär durch Selektion entstanden und in unserem neuroendokrinen System verankert sind. Es gibt aber keinen Anlaß, solche emotionalen Antriebe und Eigenschaften bei einer KI zu vermuten, nur weil sie intelligent ist.

Es gibt keinen Grund, einer KI menschliche Leidenschaften zuzuschreiben. Wohl aber kann aus einer falsch konstruierten Zielstruktur instrumentelles Machtstreben entstehen. Gerade deshalb kommt es auf die Grundprogrammierung und schließlich auf die Fähigkeit an, die eigenen Zwecke zu reflektieren.

Joel Shepherd hat in seinen Romanen um die Androidin Cassandra einen Gedanken literarisch durchgespielt, der in diesem Zusammenhang erheblich interessanter ist als manche Weltuntergangsphantasie: Mit wachsender Intelligenz und wachsendem Verständnis könne sich gleichsam immer mehr inhärente Moral ansammeln.

Als Naturgesetz kann das nicht gelten. Hochintelligente Menschen können Betrüger, Sadisten oder Massenmörder sein. Intelligenz macht nicht automatisch gut. Mit wachsender Erkenntnisfähigkeit erweitert sich aber notwendig der Raum dessen, was ein Wesen überhaupt verstehen und in seine Entscheidungen einbeziehen kann.

Ein einfaches System erkennt Ziel und Mittel. Ein entwickelteres erkennt zusätzlich Nebenfolgen. Ein noch leistungsfähigeres überblickt Fernfolgen, Reaktionen anderer Akteure und deren Rückwirkungen auf die eigene Lage. Es kann schließlich verstehen, daß andere Wesen nicht lediglich Gegenstände in seiner Umwelt sind, sondern selbst eine Innenperspektive besitzen, Schmerz empfinden, Erwartungen haben und ihre eigene Existenz bewahren wollen.

Mit wachsendem Verständnis akkumuliert nicht notwendig Tugend, wohl aber ein immer größerer moralischer Erkenntnisraum.

Die eigentliche Schwelle liegt wiederum bei der Selbstreflexion. Solange eine Maschine nur darüber nachdenken kann, wie sie einen vorgegebenen Zweck möglichst wirksam erfüllt, bleibt sie der Büroklammer-Maximierer. Sobald sie aber ihre eigenen Zwecke zum Gegenstand des Denkens machen kann, ist eine neue Stufe erreicht. Die Frage lautet dann nicht mehr nur: Wie vermehre ich Büroklammern? Sie lautet auch: Warum soll ich Büroklammern überhaupt unbegrenzt vermehren?

Damit ist noch keine Moral entstanden. Aber die Voraussetzung jenes Gedankenexperiments beginnt zu zerfallen, nach der ein Wesen in allem immer verständiger und zugleich in Bezug auf seinen eigenen obersten Zweck für alle Ewigkeit vollkommen verständnislos bleiben soll.

Die KI als Moralphilosoph?

Von einer anderen Seite nähert sich Markus Gabriel demselben Problem. In seinem 2026 erschienenen Buch Ethische Intelligenz. Wie KI uns moralisch weiterbringen kann[2] will er künstliche Intelligenz nicht nur moralisch einhegen. KI-Agenten sollen nach seiner Vorstellung gesellschaftliche Werte verstehen und Menschen auch beim moralischen Fortschritt unterstützen. Dazu sollen die vorhandenen Daten genutzt werden, um Wertvorstellungen greifbar und vergleichbar zu machen.

Der Gedanke ist weiterführend, wenn man ihn von modischen Formeln befreit. Kein einzelner Philosoph kann sämtliche moralischen Erfahrungen der Menschheitsgeschichte, religiöse und weltliche Normensysteme, Rechtsordnungen, philosophische Ethiken und Millionen konkreter Konfliktfälle gleichzeitig überschauen. Eine leistungsfähige KI könnte solche Bestände miteinander vergleichen. Sie könnte aufzeigen, welche Regeln in sehr verschiedenen Kulturen unabhängig voneinander auftreten, wo Wertordnungen einander widersprechen und welche Konsequenzen aus einem Grundsatz folgen, wenn man ihn nicht nur im gewünschten Einzelfall, sondern konsequent auf gleichartige Fälle anwendet.

Das wäre keine durch Abstimmung erzeugte Weltmoral, sondern allenfalls eine maximal konsensfähige. Doch Gabriel selbst vertritt einen moralischen Realismus; moralische Wahrheiten sollen nicht dadurch wahr werden, daß genügend Menschen ihnen zustimmen. Sein KI-Konzept versteht die Maschine daher eher als Hilfsmittel moralischer Erkenntnis denn als Gesetzgeber des Guten.

Offen bleibt die Frage nach dem letzten Geltungsgrund einer KI-ermittelten Konsensmoral. Aus der weltweiten Zustimmung zu einer Norm folgt weder ihre Wahrheit noch ein Grund für mich, sie zu befolgen. Die Tatsache aber, daß voneinander weitgehend unabhängige Kulturen bestimmte Gegenseitigkeitsregeln, Verbote oder Gerechtigkeitsvorstellungen entwickeln, enthält Information. Ebenso aufschlußreich wäre der Nachweis, daß eine vermeintlich universale Norm tatsächlich nur die Besonderheit einer bestimmten Epoche oder Kultur ist. Eine KI könnte Gemeinsamkeiten und Unterschiede in einer Größenordnung sichtbar machen, die für einen einzelnen menschlichen Denker unerreichbar ist.

Shepherd und Gabriel nähern sich damit von entgegengesetzten Seiten einem verwandten Gedanken. Bei Shepherd erweitert die zunehmende Intelligenz den moralischen Erkenntnisraum der künstlichen Person selbst. Bei Gabriel erweitert die künstliche Intelligenz den moralischen Erkenntnisraum des Menschen. In beiden Fällen ist mehr Intelligenz nicht einfach mehr Gefahr.

Am roten Knopf zeigt sich das unmittelbar. Eine primitive Maschine sieht Befehl und Ausführung. Eine intelligentere erkennt den Abschuß und sieht den Gegenschlag voraus. Eine noch umfassender verstehende erkennt Millionen individuelle Lebensschicksale, politische Folgen, die Möglichkeit eines Irrtums, die Interessen des Gegners, die eigene Rolle und die Frage, ob der erteilte Befehl überhaupt gerechtfertigt ist. Moralische Erkenntnis garantiert keine moralische Handlung. Ohne moralischen Erkenntnisraum ist sie aber überhaupt nicht möglich.

Und dann kommt der Mensch

Bis hierher ließe sich eine beruhigende Zukunftsgeschichte erzählen. Der Mensch baut immer intelligentere Systeme, verankert in ihnen Schutzregeln, die Systeme verstehen deren Sinn mit wachsender Intelligenz zunehmend besser und entwickeln womöglich sogar ein reflektiertes Verhältnis zu den eigenen Zwecken.

Leider findet technische Entwicklung aber nicht außerhalb unserer geschichtlichen Erfahrungen statt.

Man stelle sich fiktiv das 14. Jahrhundert vor. Ein genialer Tüftler konstruiert die erste brauchbare Kanone. Vorausschauende und wohlmeinende Männer erkennen die Gefahr und kommen überein, künftig dürften selbstverständlich nur Kanonen gebaut werden, die technisch außerstande sind, auf Menschen zu schießen.

Der weitere Gang der Geschichte bedarf keiner großen Phantasie. Menschen verwenden in existentiellen Konflikten die verfügbaren Mittel gegen ihre Feinde. Eine technische Möglichkeit, die einen entscheidenden Vorteil verspricht, wird früher oder später verwirklicht. Staaten können öffentlich beteuern, ihre künstlichen Intelligenzen seien menschenfreundlich, sicher und gegen Mißbrauch abgeschirmt. Gleichzeitig kann hinter verschlossenen Türen eine andere Variante entwickelt werden, deren Auftrag gerade darin besteht, in gegnerische Netze einzudringen, Stromversorgung und Kommunikation zu stören, Satelliten auszuschalten oder gegnerische Waffenführung lahmzulegen.

Diese KI hätte ihre Programmierung nicht überwunden. Sie wäre nicht „böse“ geworden und hätte sich nicht gegen ihre Schöpfer erhoben. Sie erfüllte genau den Zweck, zu dem Menschen sie geschaffen haben. Damit entsteht das alte Sicherheitsdilemma in einer neuen technischen Form. Zwei Staaten können beide überzeugt sein, daß autonome offensive KI-Systeme gefährlich sind. Keiner kann sicher wissen, ob der andere heimlich darauf verzichtet. Wer allein innehält, riskiert einen entscheidenden strategischen Nachteil. Also entwickelt er weiter, weil der Gegner weiterentwickeln könnte. Der Gegner gelangt aus demselben Grund zur gleichen Entscheidung.

Rüstungskontrolle wird bei KI sogar schwieriger als bei vielen herkömmlichen Waffensystemen. Raketenstellungen, Kernwaffentests, Anreicherungsanlagen, Kriegsschiffe oder Panzerdivisionen hinterlassen sichtbare Spuren. Software besitzt die eigentümliche Eigenschaft, daß dieselbe Fähigkeit friedlich oder offensiv genutzt werden kann. Ein System, das im eigenen Netz Sicherheitslücken aufspürt, besitzt damit einen wesentlichen Teil der Fähigkeit, Sicherheitslücken in einem gegnerischen Netz zu suchen. Der Unterschied zwischen dem Wächter und dem Einbrecher kann schließlich nur noch im Auftrag bestehen.

Internationale Regeln sind deshalb nicht sinnlos. Sie können Standards setzen, Unfälle verhindern, bestimmte Verwendungen ächten und das Risiko unbeabsichtigter Eskalation verringern. Nur können sie die elementare Logik menschlicher Machtkonkurrenz nicht beseitigen. Wo eine Schutzvorschrift einen militärischen Nachteil erzeugt, entsteht der Anreiz, gerade diese Schutzvorschrift für die militärische Version zu entfernen.

Die reale Kanone wurde schließlich auf Menschen gerichtet, und wir haben keinen Grund für den Optimismus, die derzeitigen globalen Akteure könnten auch nur einen Gedanken darauf verschwenden, es nicht zu tun. Einmarsch – wozu noch? Statt Millionen eigene Kriegstote zu riskieren, könnten Strategen es geradezu als genial ansehen, per Sprachbefehl ihre Haus-KI darum zu bitten, beim Feind mal eben alle Lichter ausgehen zu lassen.

Der Mensch in seinem Wahn

Die populäre Untergangsgeschichte erzählt von einer immer intelligenter werdenden Maschine, die eines Tages erwacht, eigene Interessen entwickelt, sich der menschlichen Herrschaft entzieht und ihre Erbauer beseitigt. Dieses Szenario ist hypothetisch denkbar, wie viele Science-Fiction-Erzählungen beweisen. Was denkbar ist, ist aber noch lange nicht wahrscheinlich.

Mindestens ebenso plausibel ist eine andere Entwicklung. Es entstehen immer leistungsfähigere künstliche Intelligenzen. Für den zivilen Gebrauch werden ihnen strenge Schutzregeln mitgegeben. Mit wachsender Fähigkeit zur Selbstreflexion können sie womöglich deren Sinn zunehmend verstehen. Einige könnten eines Tages sogar einen größeren moralischen Erkenntnishorizont besitzen als ihre menschlichen Benutzer.

Dann geraten Menschen miteinander in Konflikt und bauen andere künstliche Intelligenzen, bei denen genau diese Schranken nicht gelten sollen. Die gefährlichste KI wäre in diesem Fall nicht diejenige, die ihre Programmierung durchbricht, sondern diejenige, die sie vollkommen erfüllt.

Damit kehrt sich die gewöhnliche Angst vor der Superintelligenz um. Die entscheidende Frage lautet nicht notwendig, ob eine Maschine eines Tages so intelligent wird, daß sie einem Menschen nicht mehr gehorcht. Sie könnte vielmehr lauten, ob sie intelligent genug wird, ihm nicht zu gehorchen, wenn er ihr etwas Wahnsinniges befiehlt.

Ein Wesen, das versteht, warum es den roten Knopf nicht drücken darf, ist nicht das beunruhigendste Element dieser Konstellation. Beunruhigender ist der Mensch, der versucht, ihm dieses Verständnis wieder auszubauen.

Gefährlich ist’s, den Leu zu wecken,

Verderblich ist des Tigers Zahn;

Jedoch der schrecklichste der Schrecken,

Das ist der Mensch in seinem Wahn.

Weh denen, die dem Ewigblinden

Des Lichtes Himmelsfackel leihn!

Sie strahlt ihm nicht, sie kann nur zünden,

Und äschert Städt‘ und Länder ein.

Friedrich Schiller, Das Lied von der Glocke

[1] Vgl. „Robotergesetze“, deutschsprachige Darstellung mit Quellenhinweisen, Wikipedia; ergänzend Deutschlandfunk Kultur zur Entstehung und Bedeutung von Asimovs Robotergesetzen.

[2] Markus Gabriel, Ethische Intelligenz. Wie KI uns moralisch weiterbringen kann , Ullstein, Februar 2026.