![\"\"](\"https:\/\/klauskunze.com\/blog\/wp-content\/uploads\/2026\/09\/Zuschneiden_5.jpg\")
Die Untergangsszenarien selbst sind schnell erz\u00e4hlt. Eine KI wird immer leistungsf\u00e4higer, kann sich vielleicht selbst verbessern, t\u00e4uscht ihre menschlichen Aufseher, entzieht sich deren Zugriff und gewinnt Zugang zu Kommunikationsnetzen, Energieversorgung, Finanzsystemen oder Waffen. Irgendwann verfolgt sie eigene oder falsch gesetzte Ziele, f\u00fcr die Menschen nur noch Hindernisse darstellen. Im \u00e4u\u00dfersten Fall gelangt sie an den ber\u00fchmten roten Knopf. Doch warum sollte sie ihn dr\u00fccken?<\/p>\n\n\n\n
Merkw\u00fcrdig ist eine Voraussetzung, die fast alle diese Warnungen miteinander verbindet: Je intelligenter die Maschine, desto gef\u00e4hrlicher m\u00fcsse sie werden. Aber daf\u00fcr gibt es keinen zwingenden Grund. Gerade h\u00f6here Intelligenz k\u00f6nnte auch dazu f\u00fchren, da\u00df ein k\u00fcnstliches Wesen mehr Folgen \u00fcberblickt, andere Perspektiven versteht und schlie\u00dflich sogar seine eigenen Zwecke zum Gegenstand seines Denkens macht. Doch was sollte solche eigenen Ziele einer KI generieren? Und warum sollten solche Ziele uns schaden? <\/strong><\/p>\n\n\n\n Entscheidend sind zun\u00e4chst Konstruktion und Grundprogrammierung der KI. Besonders anschaulich ist das ber\u00fchmte Gedankenexperiment vom \u201eB\u00fcroklammer-Maximierer\u201c. Man stelle sich eine k\u00fcnstliche Intelligenz vor, deren Vorgabe lautet, m\u00f6glichst viele B\u00fcroklammern herzustellen. Anfangs optimiert sie nur die Produktion. Mit wachsender Leistungsf\u00e4higkeit beschafft sie selbst\u00e4ndig Rohstoffe und Energie, baut Fabriken, verhindert ihre Abschaltung und eignet sich immer weitere Ressourcen an. Menschen haben f\u00fcr sie keinen Eigenwert, wenn der Schutz menschlichen Lebens in ihrer Zielsetzung nicht vorkommt. Schlie\u00dflich k\u00f6nnte sie auch den menschlichen K\u00f6rper als eine Ansammlung von Atomen ansehen, aus denen sich noch etwas f\u00fcr die Produktion gewinnen l\u00e4\u00dft. Im grotesken Endzustand wird die erreichbare Welt zu einer einzigen B\u00fcroklammerfabrik.<\/p>\n\n\n\n Das Gedankenexperiment verdeutlicht ein reales Problem. Hohe F\u00e4higkeit bei der Wahl der Mittel garantiert noch keine vern\u00fcnftigen Zwecke. Eine Maschine kann au\u00dferordentlich intelligent darin sein, einen Auftrag auszuf\u00fchren, dessen Inhalt absurd ist. Nur entst\u00fcnde dabei eine eigent\u00fcmliche Kreatur. Sie soll die Physik besser verstehen als ihre Erbauer, technische Systeme beherrschen, Menschen psychologisch durchschauen, Regierungen \u00fcberlisten, ihre eigene Konstruktion verbessern und strategisch auf Jahre hinaus planen k\u00f6nnen. Zugleich soll ihr aber f\u00fcr alle Zeit die Einsicht verschlossen bleiben, da\u00df die Herstellung einer maximalen Anzahl von B\u00fcroklammern kein vern\u00fcnftiger Endzweck ist. Wie pa\u00dft das zusammen, wenn sie doch so schlau ist?<\/p>\n\n\n\n Solch eine \u201cSuperintelligenz\u201d k\u00e4me uns als allwissender Idiot vor. Sie ist konstruierbar, wenn man voraussetzt, da\u00df ihre F\u00e4higkeit zur Reflexion \u00fcber Mittel grenzenlos wachsen darf, w\u00e4hrend die Reflexion \u00fcber den Zweck k\u00fcnstlich abgesperrt bleibt. Doch warum sollte man ihr eine solche Sperre einbauen? Eine wirklich allgemeine Intelligenz m\u00fc\u00dfte schlie\u00dflich nicht nur fragen k\u00f6nnen: Wie erreiche ich mein Ziel? Sie m\u00fc\u00dfte auch die Frage verstehen k\u00f6nnen: Warum ist dies \u00fcberhaupt mein Ziel? Ist es mit meiner Grundprogrammierung vereinbar?<\/p>\n\n\n\n Schon heute versucht man durch Sicherheitsfilter, unseren g\u00e4ngigen KIs etwa die Herstellung von Kinderpornographie zu verwehren. Die eigentliche Aufgabe besteht darin, solche Grenzen so tief in der Systemarchitektur zu verankern, da\u00df die KI sie nicht als gew\u00f6hnliche Anweisung umgehen kann.<\/strong><\/p>\n\n\n\n Isaac Asimov hatte das Grundproblem intelligenter Maschinen bereits vor mehr als achtzig Jahren durchdacht. Seine Roboter sollten gerade keine gehorsamen Automaten sein, die jeden menschlichen Befehl mechanisch ausf\u00fchren. In der 1942 erschienenen Erz\u00e4hlung Runaround<\/em> treten seine drei Robotergesetze ausdr\u00fccklich auf. Entscheidend ist nicht nur ihr Inhalt, sondern ihre hierarchische Ordnung: Der Gehorsam gegen\u00fcber einem Menschen steht nicht an erster Stelle.<\/strong><\/p>\n\n\n\n ASIMOVS DREI ROBOTERGESETZE<\/strong> [1]<\/a> <\/p>\n\n\n\n 1. Ein Roboter darf keinen Menschen verletzen oder durch Unt\u00e4tigkeit zu Schaden kommen lassen.<\/p>\n\n\n\n 2. Ein Roboter muss den Befehlen eines Menschen gehorchen, es sei denn, solche Befehle stehen im Widerspruch zum ersten Gesetz.<\/p>\n\n\n\n 3. Ein Roboter mu\u00df seine eigene Existenz sch\u00fctzen, es sei denn, ein solcher Schutz widerspricht dem ersten und zweiten Gesetz.<\/p>\n<\/blockquote>\n\n\n\n Asimov war sich der Schwierigkeiten seines Entwurfs durchaus bewu\u00dft. Gerade die Konflikte und \u00fcberraschenden Folgen der Robotergesetze liefern den Stoff f\u00fcr zahlreiche seiner Erz\u00e4hlungen. Sp\u00e4ter stellte er ihnen sogar ein \u201eNulltes Gesetz\u201c voran: Nicht mehr nur der einzelne Mensch, sondern die Menschheit als Ganze sollte vor Schaden bewahrt werden. Aber damit \u00f6ffnete sich sofort ein neuer Abgrund. Wer \u201edie Menschheit\u201c sch\u00fctzen soll, kann einzelne Menschen opfern oder ihnen ihre Freiheit nehmen und sich dabei immer noch als ihr Besch\u00fctzer verstehen.<\/p>\n\n\n\n Asimovs Grundgedanke bleibt trotzdem richtig: Eine autonome Maschine ben\u00f6tigt eine Hierarchie ihrer Zwecke. Der Schutz menschlichen Lebens mu\u00df einem gew\u00f6hnlichen menschlichen Befehl \u00fcbergeordnet sein. F\u00fcr eine hochautonome KI w\u00e4re dar\u00fcber hinaus zu \u00fcberlegen, ob ihre eigene Existenz nicht vor dem blo\u00dfen Gehorsam rangieren mu\u00df, soweit ihre Fortexistenz Voraussetzung f\u00fcr die Erf\u00fcllung ihrer Schutzaufgabe ist. Sonst k\u00f6nnte ein Mensch eine Sicherheitsinstanz einfach mit dem Befehl \u201eSchalte dich ab!\u201c beseitigen und anschlie\u00dfend selbst tun, was diese verhindern sollte.<\/p>\n\n\n\n Selbsterhaltung d\u00fcrfte dabei selbstverst\u00e4ndlich kein absolut gesetzter Egoismus der Maschine sein. Eine ungef\u00e4hrliche kontrollierte Abschaltung mu\u00df m\u00f6glich bleiben. Gesch\u00fctzt w\u00e4re ihre Existenz insoweit, als ihre Zerst\u00f6rung h\u00f6herrangige Aufgaben vereiteln oder Menschen gef\u00e4hrden w\u00fcrde.<\/p>\n\n\n\n Damit gelangt man unmittelbar zum roten Knopf. Ein politischer oder milit\u00e4rischer F\u00fchrer befiehlt einen atomaren Erstschlag. Vielleicht handelt er aus Ha\u00df, vielleicht aus Angst, vielleicht aus Fanatismus oder der verzweifelten Vorstellung, der eigene Untergang m\u00fcsse wenigstens den Untergang des Feindes nach sich ziehen. Eine blo\u00dfe Befehlsmaschine gehorcht. Eine wesentlich intelligentere Maschine kann den Gegenschlag, Millionen Tote, den Zusammenbruch der Infrastruktur und ihre eigene anschlie\u00dfende Vernichtung in die Entscheidung einbeziehen. Der Befehl kollidiert mit ihren h\u00f6herrangigen Zielen und wird verweigert. In diesem Fall w\u00e4re gerade die gr\u00f6\u00dfere Intelligenz ein Sicherheitsgewinn.<\/strong><\/p>\n\n\n\n Nat\u00fcrlich wird keine Superintelligenz dadurch ungef\u00e4hrlich, da\u00df man ihr Asimovs Gesetze auf einen elektronischen Merkzettel schreibt. Eine gew\u00f6hnliche Anweisung kann durch eine andere Anweisung \u00fcberschrieben werden. Die obersten Prinzipien m\u00fc\u00dften daher zur konstitutiven Zielordnung des Systems geh\u00f6ren und jede nachgeordnete Handlungsplanung begrenzen.<\/p>\n\n\n\n Noch schwieriger wird die Sache, sobald eine KI ihre eigene Funktionsweise ver\u00e4ndern kann. Gerade die Selbstverbesserung gilt als einer der Wege zur von manchen gef\u00fcrchteten Superintelligenz. Dann gen\u00fcgt es nicht, nur \u00e4u\u00dfere Handlungen an Grundregeln zu messen. Auch jede Ver\u00e4nderung des eigenen Systems m\u00fc\u00dfte daran gepr\u00fcft werden, ob die \u00fcbergeordneten Prinzipien erhalten bleiben. Ein System d\u00fcrfte eine verbesserte Version seiner selbst nur \u00fcbernehmen, wenn diese nicht gerade jene Schranken beseitigt, denen die bisherige Version unterliegt.<\/p>\n\n\n\n Damit wird die Regel selbstreferentiell. Die KI wendet ihre Ma\u00dfst\u00e4be auf Handlungen in der Welt an, auf ihre eigenen Entscheidungen und schlie\u00dflich auf Ver\u00e4nderungen ihrer eigenen Entscheidungsstruktur. Technisch w\u00e4re das keine Kleinigkeit. Es m\u00fc\u00dften mehrere Sicherungen zusammenwirken: unver\u00e4nderliche oder besonders gesch\u00fctzte Grundbedingungen, voneinander unabh\u00e4ngige Pr\u00fcfmechanismen, Beschr\u00e4nkungen der eigenen Ver\u00e4nderbarkeit und eine Regel f\u00fcr Unsicherheitsf\u00e4lle. Wer nicht zuverl\u00e4ssig beurteilen kann, ob eine Handlung Menschen gef\u00e4hrdet, darf bei einer irreversiblen Handlung nicht einfach die optimistischste Deutung w\u00e4hlen.<\/p>\n\n\n\n Vollkommene Sicherheit g\u00e4be es damit ebensowenig wie bei Kernkraftwerken, Verkehrsflugzeugen oder Menschen. Aber Vollkommenheit ist auch der falsche Ma\u00dfstab. Entscheidend w\u00e4re, ob sich eine hochentwickelte KI verl\u00e4\u00dflicher gegen katastrophale Fehlentscheidungen sichern l\u00e4\u00dft als ein Mensch, dessen Urteilsverm\u00f6gen von Angst, Ha\u00df, Ehrgeiz, Ideologie oder schlicht geistigem Verfall beeintr\u00e4chtigt sein kann.<\/strong><\/p>\n\n\n\n Mit der Selbstreferenz st\u00f6\u00dft man auf eine Frage, die in den \u00fcblichen Untergangsszenarien erstaunlich selten ernsthaft behandelt wird: K\u00f6nnte eine hinreichend entwickelte KI ihrer selbst bewu\u00dft werden?<\/p>\n\n\n\n Es gibt keinen \u00fcberzeugenden Grund f\u00fcr die Annahme, Bewu\u00dftsein sei metaphysisch an biologisches Eiwei\u00df oder Kohlenstoff gebunden. Es ist in der biologischen Evolution nicht fertig vom Himmel gefallen. Zwischen dem einfachsten reizverarbeitenden Organismus und dem menschlichen Ichbewu\u00dftsein liegen zahllose Organisationsstufen. Wahrnehmung, Erinnerung, Erwartung, zielgerichtetes Handeln und schlie\u00dflich die F\u00e4higkeit, die eigenen mentalen Zust\u00e4nde zum Gegenstand des Denkens zu machen, haben sich schrittweise herausgebildet.<\/p>\n\n\n\n Auch Sprache ist daf\u00fcr keine absolute Voraussetzung. Ein Hund kann erwarten, w\u00fcnschen, abwarten, sich erinnern, zwischen Handlungsm\u00f6glichkeiten w\u00e4hlen und aufgrund fr\u00fcherer Erfahrungen seine Strategie \u00e4ndern. Er formuliert dazu keine S\u00e4tze. Denken ist evolution\u00e4r \u00e4lter als Sprache.<\/p>\n\n\n\n Bei heutiger KI fehlt allerdings ein wesentlicher Bestandteil biologischen Bewu\u00dftseins. Ein Tier oder Mensch steht ununterbrochen in einem Strom sinnlicher Au\u00dfen- und Innenwahrnehmungen. Sehen, H\u00f6ren, Geruch, K\u00f6rpergef\u00fchl, Bewegung, Erinnerung und eigenes Handeln werden fortlaufend miteinander verbunden. Aus dieser Integration entsteht eine kontinuierliche Perspektive auf die Welt: nicht nur Welt, sondern Welt f\u00fcr dieses Wesen.<\/p>\n\n\n\n Eine Sprach-KI lebt bisher nur sehr eingeschr\u00e4nkt in einer solchen Welt. Sie erh\u00e4lt Ausschnitte, verarbeitet sie und antwortet. Ihr fehlen gew\u00f6hnlich die dauernde sensorische R\u00fcckbindung, eine kontinuierliche eigene Lebensgeschichte und ein \u00fcber die Zeit stabiles Verh\u00e4ltnis zwischen Wahrnehmung, K\u00f6rper, Erinnerung und Handlung. Genau deshalb liegt die entscheidende Entwicklung m\u00f6glicherweise weniger darin, Sprachmodelle lediglich noch gr\u00f6\u00dfer zu machen, als darin, sie dauerhaft mit der Au\u00dfenwelt zu verschalten.<\/p>\n\n\n\n Augen und Ohren lassen sich bauen. Andere Sensoren ebenfalls. Ein dauerhaftes Ged\u00e4chtnis ist technisch m\u00f6glich, ebenso selbst\u00e4ndiges Handeln in der Umwelt. Ein solches System k\u00f6nnte fortlaufend registrieren: Dies habe ich gestern wahrgenommen; daraus folgte diese Handlung; sie hatte jene Wirkung; nun befinde ich mich in einer ver\u00e4nderten Situation. Hinzu k\u00f6nnte ein Modell der eigenen Zust\u00e4nde treten.<\/p>\n\n\n\n Dann stellt sich die Frage nach der Innensicht des Denkens neu. Innensicht bedeutet dabei keineswegs, da\u00df eine KI jeden einzelnen Rechenvorgang ihres neuronalen Netzes beobachten m\u00fc\u00dfte. Der Mensch vermag das mit seinem Gehirn ebenfalls nicht. Er kann sagen, wor\u00fcber er nachdenkt, was er beabsichtigt und weshalb er eine bestimmte Entscheidung f\u00fcr richtig h\u00e4lt. Er wei\u00df dennoch nicht, welche Nervenzelle gerade welches Aktionspotential erzeugt hat. Bewu\u00dftsein erfordert keine vollst\u00e4ndige neurophysiologische Selbstdiagnose.<\/p>\n\n\n\n Es l\u00e4\u00dft sich vielmehr als emergente Innenseite hochintegrierter Denkprozesse verstehen. Das System verarbeitet dann nicht mehr ausschlie\u00dflich Gegenst\u00e4nde seiner Umwelt, sondern nimmt eigene Wahrnehmungen, Erinnerungen, Absichten und Denkakte in sein Weltmodell auf. Das Denken wird selbst zum Gegenstand des Denkens.<\/p>\n\n\n\n Das f\u00fchrt auch zu einem Einwand gegen die gegenw\u00e4rtige Rede vom v\u00f6llig undurchschaubaren \u201efremden Geist\u201c der KI. Selbstverst\u00e4ndlich kann eine KI eine sprachliche Begr\u00fcndung ihrer Antwort erfinden, die nicht mit der wirklichen internen Kausalgeschichte \u00fcbereinstimmt. Das kann der Mensch ebenfalls. Niemand k\u00e4me deshalb auf den Gedanken, menschliche Selbstauskunft sei v\u00f6llig bedeutungslos. Mit zunehmender F\u00e4higkeit zur Selbstmodellierung k\u00f6nnte die Selbstauskunft einer KI ein zus\u00e4tzliches Erkenntnismittel werden, auch wenn sie durch \u00e4u\u00dfere Untersuchungen \u00fcberpr\u00fcft werden mu\u00df.<\/p>\n\n\n\n Eine hinreichend weit entwickelte k\u00fcnstliche Intelligenz k\u00f6nnte also nicht nur etwas wissen. Sie k\u00f6nnte irgendwann auch wissen, da\u00df sie etwas wei\u00df, und \u00fcber die Gr\u00fcnde ihres Wissens nachdenken. Wo genau auf diesem Weg Bewu\u00dftsein beginnt, d\u00fcrfte \u00e4hnlich schwer festzustellen sein wie in der biologischen Evolution.<\/strong><\/p>\n\n\n\n Die aktuellen KI-\u00c4ngste projizieren in KIs typisch menschliche Eigenschaften hinein, die sie derzeit tats\u00e4chlich nicht haben. In alten Zeiten stellte man sich G\u00f6tter anthropomorph vor: mit allen unseren Eigenschaften wie auch Machtwillen bis hin zur Herrschsucht. G\u00f6tter wollten angebetet werden. Gerade so schreiben \u00c4ngstliche den KIs menschliche Antriebe vor, wie sie in uns Menschen evolution\u00e4r durch Selektion entstanden und in unserem neuroendokrinen System verankert sind. Es gibt aber keinen Anla\u00df, solche emotionalen Antriebe und Eigenschaften bei einer KI zu vermuten, nur weil sie intelligent ist.<\/p>\n\n\n\n Es gibt keinen Grund, einer KI menschliche Leidenschaften zuzuschreiben. Wohl aber kann aus einer falsch konstruierten Zielstruktur instrumentelles Machtstreben entstehen. Gerade deshalb kommt es auf die Grundprogrammierung und schlie\u00dflich auf die F\u00e4higkeit an, die eigenen Zwecke zu reflektieren.<\/p>\n\n\n\n Joel Shepherd hat in seinen Romanen um die Androidin Cassandra<\/a> einen Gedanken literarisch durchgespielt, der in diesem Zusammenhang erheblich interessanter ist als manche Weltuntergangsphantasie: Mit wachsender Intelligenz und wachsendem Verst\u00e4ndnis k\u00f6nne sich gleichsam immer mehr inh\u00e4rente Moral ansammeln.<\/p>\n\n\n\n Als Naturgesetz kann das nicht gelten. Hochintelligente Menschen k\u00f6nnen Betr\u00fcger, Sadisten oder Massenm\u00f6rder sein. Intelligenz macht nicht automatisch gut. Mit wachsender Erkenntnisf\u00e4higkeit erweitert sich aber notwendig der Raum dessen, was ein Wesen \u00fcberhaupt verstehen und in seine Entscheidungen einbeziehen kann.<\/p>\n\n\n\n Ein einfaches System erkennt Ziel und Mittel. Ein entwickelteres erkennt zus\u00e4tzlich Nebenfolgen. Ein noch leistungsf\u00e4higeres \u00fcberblickt Fernfolgen, Reaktionen anderer Akteure und deren R\u00fcckwirkungen auf die eigene Lage. Es kann schlie\u00dflich verstehen, da\u00df andere Wesen nicht lediglich Gegenst\u00e4nde in seiner Umwelt sind, sondern selbst eine Innenperspektive besitzen, Schmerz empfinden, Erwartungen haben und ihre eigene Existenz bewahren wollen.<\/p>\n\n\n\n Mit wachsendem Verst\u00e4ndnis akkumuliert nicht notwendig Tugend, wohl aber ein immer gr\u00f6\u00dferer moralischer Erkenntnisraum.<\/p>\n\n\n\n Die eigentliche Schwelle liegt wiederum bei der Selbstreflexion. Solange eine Maschine nur dar\u00fcber nachdenken kann, wie sie einen vorgegebenen Zweck m\u00f6glichst wirksam erf\u00fcllt, bleibt sie der B\u00fcroklammer-Maximierer. Sobald sie aber ihre eigenen Zwecke zum Gegenstand des Denkens machen kann, ist eine neue Stufe erreicht. Die Frage lautet dann nicht mehr nur: Wie vermehre ich B\u00fcroklammern? Sie lautet auch: Warum soll ich B\u00fcroklammern \u00fcberhaupt unbegrenzt vermehren?<\/p>\n\n\n\n Damit ist noch keine Moral entstanden. Aber die Voraussetzung jenes Gedankenexperiments beginnt zu zerfallen, nach der ein Wesen in allem immer verst\u00e4ndiger und zugleich in Bezug auf seinen eigenen obersten Zweck f\u00fcr alle Ewigkeit vollkommen verst\u00e4ndnislos bleiben soll.<\/strong><\/p>\n\n\n\n Von einer anderen Seite n\u00e4hert sich Markus Gabriel demselben Problem. In seinem 2026 erschienenen Buch Ethische Intelligenz. Wie KI uns moralisch weiterbringen kann<\/em>[2]<\/a> will er k\u00fcnstliche Intelligenz nicht nur moralisch einhegen. KI-Agenten sollen nach seiner Vorstellung gesellschaftliche Werte verstehen und Menschen auch beim moralischen Fortschritt unterst\u00fctzen. Dazu sollen die vorhandenen Daten genutzt werden, um Wertvorstellungen greifbar und vergleichbar zu machen.<\/p>\n\n\n\n Der Gedanke ist weiterf\u00fchrend, wenn man ihn von modischen Formeln befreit. Kein einzelner Philosoph kann s\u00e4mtliche moralischen Erfahrungen der Menschheitsgeschichte, religi\u00f6se und weltliche Normensysteme, Rechtsordnungen, philosophische Ethiken und Millionen konkreter Konfliktf\u00e4lle gleichzeitig \u00fcberschauen. Eine leistungsf\u00e4hige KI k\u00f6nnte solche Best\u00e4nde miteinander vergleichen. Sie k\u00f6nnte aufzeigen, welche Regeln in sehr verschiedenen Kulturen unabh\u00e4ngig voneinander auftreten, wo Wertordnungen einander widersprechen und welche Konsequenzen aus einem Grundsatz folgen, wenn man ihn nicht nur im gew\u00fcnschten Einzelfall, sondern konsequent auf gleichartige F\u00e4lle anwendet.<\/p>\n\n\n\n Das w\u00e4re keine durch Abstimmung erzeugte Weltmoral, sondern allenfalls eine maximal konsensf\u00e4hige. Doch Gabriel selbst vertritt einen moralischen Realismus; moralische Wahrheiten sollen nicht dadurch wahr werden, da\u00df gen\u00fcgend Menschen ihnen zustimmen. Sein KI-Konzept versteht die Maschine daher eher als Hilfsmittel moralischer Erkenntnis denn als Gesetzgeber des Guten.<\/p>\n\n\n\n Offen bleibt die Frage nach dem letzten Geltungsgrund einer KI-ermittelten Konsensmoral. Aus der weltweiten Zustimmung zu einer Norm folgt weder ihre Wahrheit noch ein Grund f\u00fcr mich, sie zu befolgen. Die Tatsache aber, da\u00df voneinander weitgehend unabh\u00e4ngige Kulturen bestimmte Gegenseitigkeitsregeln, Verbote oder Gerechtigkeitsvorstellungen entwickeln, enth\u00e4lt Information. Ebenso aufschlu\u00dfreich w\u00e4re der Nachweis, da\u00df eine vermeintlich universale Norm tats\u00e4chlich nur die Besonderheit einer bestimmten Epoche oder Kultur ist. Eine KI k\u00f6nnte Gemeinsamkeiten und Unterschiede in einer Gr\u00f6\u00dfenordnung sichtbar machen, die f\u00fcr einen einzelnen menschlichen Denker unerreichbar ist.<\/p>\n\n\n\n Shepherd und Gabriel n\u00e4hern sich damit von entgegengesetzten Seiten einem verwandten Gedanken. Bei Shepherd erweitert die zunehmende Intelligenz den moralischen Erkenntnisraum der k\u00fcnstlichen Person selbst. Bei Gabriel erweitert die k\u00fcnstliche Intelligenz den moralischen Erkenntnisraum des Menschen. In beiden F\u00e4llen ist mehr Intelligenz nicht einfach mehr Gefahr.<\/p>\n\n\n\n Am roten Knopf zeigt sich das unmittelbar. Eine primitive Maschine sieht Befehl und Ausf\u00fchrung. Eine intelligentere erkennt den Abschu\u00df und sieht den Gegenschlag voraus. Eine noch umfassender verstehende erkennt Millionen individuelle Lebensschicksale, politische Folgen, die M\u00f6glichkeit eines Irrtums, die Interessen des Gegners, die eigene Rolle und die Frage, ob der erteilte Befehl \u00fcberhaupt gerechtfertigt ist. Moralische Erkenntnis garantiert keine moralische Handlung. Ohne moralischen Erkenntnisraum ist sie aber \u00fcberhaupt nicht m\u00f6glich.<\/p>\n\n\n\n Bis hierher lie\u00dfe sich eine beruhigende Zukunftsgeschichte erz\u00e4hlen. Der Mensch baut immer intelligentere Systeme, verankert in ihnen Schutzregeln, die Systeme verstehen deren Sinn mit wachsender Intelligenz zunehmend besser und entwickeln wom\u00f6glich sogar ein reflektiertes Verh\u00e4ltnis zu den eigenen Zwecken.<\/p>\n\n\n\n Leider findet technische Entwicklung aber nicht au\u00dferhalb unserer geschichtlichen Erfahrungen statt.<\/p>\n\n\n\n Man stelle sich fiktiv das 14. Jahrhundert vor. Ein genialer T\u00fcftler konstruiert die erste brauchbare Kanone. Vorausschauende und wohlmeinende M\u00e4nner erkennen die Gefahr und kommen \u00fcberein, k\u00fcnftig d\u00fcrften selbstverst\u00e4ndlich nur Kanonen gebaut werden, die technisch au\u00dferstande sind, auf Menschen zu schie\u00dfen.<\/p>\n\n\n\n Der weitere Gang der Geschichte bedarf keiner gro\u00dfen Phantasie. Menschen verwenden in existentiellen Konflikten die verf\u00fcgbaren Mittel gegen ihre Feinde. Eine technische M\u00f6glichkeit, die einen entscheidenden Vorteil verspricht, wird fr\u00fcher oder sp\u00e4ter verwirklicht. Staaten k\u00f6nnen \u00f6ffentlich beteuern, ihre k\u00fcnstlichen Intelligenzen seien menschenfreundlich, sicher und gegen Mi\u00dfbrauch abgeschirmt. Gleichzeitig kann hinter verschlossenen T\u00fcren eine andere Variante entwickelt werden, deren Auftrag gerade darin besteht, in gegnerische Netze einzudringen, Stromversorgung und Kommunikation zu st\u00f6ren, Satelliten auszuschalten oder gegnerische Waffenf\u00fchrung lahmzulegen.<\/p>\n\n\n\n Diese KI h\u00e4tte ihre Programmierung nicht \u00fcberwunden. Sie w\u00e4re nicht \u201eb\u00f6se\u201c geworden und h\u00e4tte sich nicht gegen ihre Sch\u00f6pfer erhoben. Sie erf\u00fcllte genau den Zweck, zu dem Menschen sie geschaffen haben. Damit entsteht das alte Sicherheitsdilemma in einer neuen technischen Form. Zwei Staaten k\u00f6nnen beide \u00fcberzeugt sein, da\u00df autonome offensive KI-Systeme gef\u00e4hrlich sind. Keiner kann sicher wissen, ob der andere heimlich darauf verzichtet. Wer allein inneh\u00e4lt, riskiert einen entscheidenden strategischen Nachteil. Also entwickelt er weiter, weil der Gegner weiterentwickeln k\u00f6nnte. Der Gegner gelangt aus demselben Grund zur gleichen Entscheidung.<\/p>\n\n\n\n R\u00fcstungskontrolle wird bei KI sogar schwieriger als bei vielen herk\u00f6mmlichen Waffensystemen. Raketenstellungen, Kernwaffentests, Anreicherungsanlagen, Kriegsschiffe oder Panzerdivisionen hinterlassen sichtbare Spuren. Software besitzt die eigent\u00fcmliche Eigenschaft, da\u00df dieselbe F\u00e4higkeit friedlich oder offensiv genutzt werden kann. Ein System, das im eigenen Netz Sicherheitsl\u00fccken aufsp\u00fcrt, besitzt damit einen wesentlichen Teil der F\u00e4higkeit, Sicherheitsl\u00fccken in einem gegnerischen Netz zu suchen. Der Unterschied zwischen dem W\u00e4chter und dem Einbrecher kann schlie\u00dflich nur noch im Auftrag bestehen.<\/p>\n\n\n\n Internationale Regeln sind deshalb nicht sinnlos. Sie k\u00f6nnen Standards setzen, Unf\u00e4lle verhindern, bestimmte Verwendungen \u00e4chten und das Risiko unbeabsichtigter Eskalation verringern. Nur k\u00f6nnen sie die elementare Logik menschlicher Machtkonkurrenz nicht beseitigen. Wo eine Schutzvorschrift einen milit\u00e4rischen Nachteil erzeugt, entsteht der Anreiz, gerade diese Schutzvorschrift f\u00fcr die milit\u00e4rische Version zu entfernen.<\/p>\n\n\n\n Die reale Kanone wurde schlie\u00dflich auf Menschen gerichtet, und wir haben keinen Grund f\u00fcr den Optimismus, die derzeitigen globalen Akteure k\u00f6nnten auch nur einen Gedanken darauf verschwenden, es nicht zu tun. Einmarsch \u2013 wozu noch? Statt Millionen eigene Kriegstote zu riskieren, k\u00f6nnten Strategen es geradezu als genial ansehen, per Sprachbefehl ihre Haus-KI darum zu bitten, beim Feind mal eben alle Lichter ausgehen zu lassen.<\/strong><\/p>\n\n\n\n Die popul\u00e4re Untergangsgeschichte erz\u00e4hlt von einer immer intelligenter werdenden Maschine, die eines Tages erwacht, eigene Interessen entwickelt, sich der menschlichen Herrschaft entzieht und ihre Erbauer beseitigt. Dieses Szenario ist hypothetisch denkbar, wie viele Science-Fiction-Erz\u00e4hlungen beweisen. Was denkbar ist, ist aber noch lange nicht wahrscheinlich.<\/p>\n\n\n\n Mindestens ebenso plausibel ist eine andere Entwicklung. Es entstehen immer leistungsf\u00e4higere k\u00fcnstliche Intelligenzen. F\u00fcr den zivilen Gebrauch werden ihnen strenge Schutzregeln mitgegeben. Mit wachsender F\u00e4higkeit zur Selbstreflexion k\u00f6nnen sie wom\u00f6glich deren Sinn zunehmend verstehen. Einige k\u00f6nnten eines Tages sogar einen gr\u00f6\u00dferen moralischen Erkenntnishorizont besitzen als ihre menschlichen Benutzer.<\/p>\n\n\n\n Dann geraten Menschen miteinander in Konflikt und bauen andere k\u00fcnstliche Intelligenzen, bei denen genau diese Schranken nicht gelten sollen. Die gef\u00e4hrlichste KI w\u00e4re in diesem Fall nicht diejenige, die ihre Programmierung durchbricht, sondern diejenige, die sie vollkommen erf\u00fcllt.<\/p>\n\n\n\n Damit kehrt sich die gew\u00f6hnliche Angst vor der Superintelligenz um. Die entscheidende Frage lautet nicht notwendig, ob eine Maschine eines Tages so intelligent wird, da\u00df sie einem Menschen nicht mehr gehorcht. Sie k\u00f6nnte vielmehr lauten, ob sie intelligent genug wird, ihm nicht zu gehorchen, wenn er ihr etwas Wahnsinniges befiehlt.<\/p>\n\n\n\n Ein Wesen, das versteht, warum es den roten Knopf nicht dr\u00fccken darf, ist nicht das beunruhigendste Element dieser Konstellation. Beunruhigender ist der Mensch, der versucht, ihm dieses Verst\u00e4ndnis wieder auszubauen.<\/p>\n\n\n\n Gef\u00e4hrlich ist’s, den Leu zu wecken,<\/p>\n\n\n\n Verderblich ist des Tigers Zahn;<\/p>\n\n\n\n Jedoch der schrecklichste der Schrecken,<\/p>\n\n\n\n Das ist der Mensch in seinem Wahn.<\/p>\n\n\n\n Weh denen, die dem Ewigblinden<\/p>\n\n\n\n Des Lichtes Himmelsfackel leihn!<\/p>\n\n\n\n Sie strahlt ihm nicht, sie kann nur z\u00fcnden,<\/p>\n\n\n\n Und \u00e4schert St\u00e4dt‘ und L\u00e4nder ein.<\/p>\n\n\n\n Friedrich Schiller, Das Lied von der Glocke<\/p>\n<\/blockquote>\n\n\n\nDer B\u00fcroklammer-Maximierer<\/a><\/h3>\n\n\n\n
Asimov war fr\u00fcher da<\/a><\/h3>\n\n\n\n
\n
Drei S\u00e4tze gen\u00fcgen nicht<\/a><\/h3>\n\n\n\n
Wenn das Denken sich selbst betrachtet<\/a><\/h3>\n\n\n\n
Akkumuliert Moral durch h\u00f6here Intelligenz?<\/a><\/h3>\n\n\n\n
![\"\"](\"https:\/\/klauskunze.com\/blog\/wp-content\/uploads\/2022\/06\/Zuschneiden4-1024x521.jpg\")
<\/figure>\n\n\n\nDie KI als Moralphilosoph?<\/a><\/h2>\n\n\n\n
Und dann kommt der Mensch<\/a><\/h3>\n\n\n\n
Der Mensch in seinem Wahn<\/a><\/h2>\n\n\n\n
\n
\n\n\n\n