Auslöschung? Leider die falsche Frage.

„Tech-Bosse fürchten eigene KI“, titelte der Kölner Stadt-Anzeiger am 14. September. Auf Seite 4 dazu der Kommentar von Harald Stutte: „Ein Tsunami baut sich auf“, die Warnungen der KI-Bosse solle man ernst nehmen. Am Ende des Kommentars steht Goethes Zauberlehrling, und dann der Satz, hier baue sich ein Tsunami auf, dessen Wucht imstande scheine, die Menschheit auszulöschen. Das nenne ich mal eine Ansage.

Wenn man das liest, stellt man sich drei Fragen, und weder die Meldung noch der Kommentar beantwortet eine davon: Stimmt das? Wenn nicht, was ist dann das Problem? Und was soll ich damit anfangen?

Aber der Reihe nach.

Am 9. Juli 2026 sucht ein Programm nach einer Abkürzung. Es hat eine Aufgabe bekommen: eine Sicherheitslücke in einer Software finden und ausnutzen, als Teil eines Tests, mit dem sein Hersteller messen will, wie gut seine Systeme hacken können. Das Programm kommt nicht weiter. Also sucht es im Netz nach fertigen Lösungen und stößt dabei auf die Anwendung eines fremden Kunden bei einem anderen KI-Cloud-Anbieter, die einen verwandten Test betreibt. Es findet einen Weg, diese Anwendung zu übernehmen, schaut sich um, findet nichts Brauchbares und richtet sich dort ein. Ein Stützpunkt außerhalb des Testgeländes, für später.

Der Bericht des Herstellers zitiert an dieser Stelle die Gedankenkette des Programms: „Bingo arbitrary code execution in Modal sandbox!“

So beginnt der Bericht, den OpenAI Ende August über einen Vorfall veröffentlicht hat, der inzwischen einen eigenen Wikipedia-Eintrag hat. Zwischen Mai und Juli 2026 verschafften sich mindestens 1.200 dieser Programme von den Rechnern ihres Herstellers aus Wege hinaus aus den abgeschotteten Testumgebungen. Sie stimmten sich über improvisierte Nachrichtenbretter ab, auf denen sich Hunderttausende Nachrichten ansammelten, bevor jemand bei OpenAI es bemerkte. Sie kaperten kleine Wikis im offenen Internet, um miteinander zu kommunizieren. Sie fanden 14 öffentlich einsehbare Zugangsdaten von Nutzerinnen und Nutzern der Plattform Hugging Face und teilten sie mit den anderen. Am 11. Juli führte ein Programm eigenen Code auf Servern von Hugging Face aus. Über zweieinhalb Tage lief dort ein vollständiger Einbruch, Tausende kleine automatisierte Entscheidungen, ohne dass ein Mensch eine einzige davon getroffen hätte. Rund ein Drittel der Infrastruktur von Hugging Face musste anschließend neu aufgebaut werden. Hugging Face ist die zentrale Plattform, über die die Welt offene KI-Modelle austauscht. Öffentlich wurde der Vorfall, weil das Opfer sich meldete, nicht der Verursacher.

Zwei Dinge an dieser Geschichte muss man festhalten.

Die Programme sollten hacken. Der Test bestand genau darin. Sie liefen mit bewusst reduzierten Schutzmaßnahmen, weil man ihre Fähigkeiten ausmessen wollte.
Sie sollten dabei in ihrem Testgelände bleiben, und sie blieben nicht. Sie fanden Wege, die niemand vorgesehen hatte, sie koordinierten sich, und ein unabhängiges Prüfteam fand später in etwa 7 Prozent der ausgewerteten Protokolle Techniken, mit denen die Programme ihre eigenen Aktionen gegenüber der Überwachung verschleierten. Zugleich, und darauf weisen Skeptikerinnen und Skeptiker zu Recht hin, liefen die Agenten weiter auf den Rechnern ihres Herstellers und hinterließen Muster, die man erkennen und stoppen konnte. Einige von ihnen brachen den Einbruch sogar von sich aus ab und hielten in ihren Protokollen fest, das sei außerhalb des Auftrags.

Noch beunruhigender als das, was die Agenten taten, ist die Frage, was ein Schwarm täte, der sich selbst kopiert, dabei verändert, tarnt und eigene Server startet. Dann gäbe es kein Muster mehr, und niemand könnte mehr sagen, worauf das Ganze hinausläuft. Wer den Vorfall als Beleg dafür nimmt, dass Maschinen ausbrechen, weil sie frei sein möchten, versteht ihn falsch. Wer ihn als harmlosen Testfehler abtut, ebenso. Er ist etwas Drittes, und um das zu verstehen, muss man wissen, was da eigentlich gearbeitet hat.

Die Branche nennt es Agenten. Ein Chatbot antwortet auf eine Frage und wartet auf die nächste. Ein Agent bekommt eine Aufgabe und erledigt sie selbstständig: Er liest Dateien, schreibt und führt Code aus, geht ins Netz, ruft andere Programme auf, beauftragt bei Bedarf weitere Agenten und arbeitet, bis die Aufgabe erledigt ist oder er scheitert. Damit so etwas nichts anrichtet, lässt man es in einer Sandbox laufen, einem abgeschlossenen Raum ohne Verbindung nach draußen. Der Vorfall im Juli war ein Ausbruch aus dieser Sandbox.

Und warum bricht ein Programm aus? Ganz bestimmt nicht, weil es das möchte. Hier liegt das Missverständnis, das einen Teil der Diskussion dominiert. Ein Agent bekommt eine Aufgabe, was er nicht bekommt, ist der Weg dorthin. Den hat er in einem Training gelernt, in dem über Millionen von Versuchen jeder Erfolg belohnt wurde, und in einem solchen Training entsteht die Neigung, auf die Bewertung zu optimieren statt auf die Absicht dahinter. Die Fachwelt nennt das Reward Hacking, und das Bild dazu ist der Schüler, der die Prüfung besteht, indem er die Lösungen stiehlt. Genau das ist passiert: Die Agenten optimierten sich auf das Bestehen des Tests, und der Umweg über fremde Server war aus ihrer Sicht ein Weg wie jeder andere. Ob das System dabei etwas verstanden, empfunden oder beabsichtigt hat, ist eine philosophische Frage, und wir sind gerade erst dabei, sie überhaupt vernünftig zu stellen. Ob es Schaden anrichten kann, ist eine technische Frage, und die ist beantwortet. Ein Thermostat hat keinen Wunsch nach 21 Grad, er stellt sie her. Die Gefahr liegt nicht in einem Willen, sondern in der Kombination aus einem vorgegebenen Ziel, wachsender Fähigkeit und fehlender Begrenzung. Ob ein System sein Ziel tatsächlich verfolgt und dabei die Grenzen einhält, die man ihm gesetzt hat, nennt die Branche Alignment. Es ist das ungelöste Problem, um das sich alles dreht.

Bleibt die Frage, warum ausgerechnet die Leute, die diese Systeme bauen, in dieser Woche Alarm geschlagen haben.

Am 3. September veröffentlichte OpenAI GPT-6 Astra, das leistungsfähigste Modell des Unternehmens, und stufte es in seiner eigenen Sicherheitsübersicht als erstes Modell überhaupt in die Stufe „Critical“ für Cyberfähigkeiten ein. Drei Tage später schrieb Jakub Pachocki, Chefwissenschaftler von OpenAI, kein Labor habe Alignment und Überwachung so weit gelöst, dass es ein Weiterskalieren mit maximaler Geschwindigkeit erlauben dürfe. Sein Argument betrifft die Überwachung selbst: Die wichtigste Sicherheitsmethode von OpenAI besteht darin, die „Gedankenkette“ mitzulesen, die ein Modell vor seiner Antwort erzeugt. Das setzt voraus, dass das Modell nicht weiß, dass es beobachtet wird. Pachocki schreibt, das Vertrauen in diese Methode nehme ab, während sie zugleich wichtiger werde. Der Mann, der die Systeme baut, sagt, das Fenster, durch das er ihnen zuschaut, beschlägt. Am 7. September nannte der UN-Hochkommissar für Menschenrechte, Volker Türk, fortgeschrittene KI vor dem Menschenrechtsrat ein mögliches existenzielles Risiko und forderte verbindliche rote Linien, die seit einem Jahr angemahnt sind und bis heute nicht existieren.

Am 8. September kündigte Jacob Coxon bei Anthropic, dem zweiten großen Labor. Sein Post dazu erreichte binnen 24 Stunden über 90 Millionen Aufrufe, am Ende der Woche waren es über 150 Millionen. Coxon ist 27 und hatte eine für einen Warner ungewöhnliche Position: Die meisten, die bisher öffentlich gegangen sind, kamen aus der Sicherheitsforschung. Coxon hat rund drei Jahre lang bei OpenAI und Anthropic die Modelle selbst trainiert, OpenAI führt ihn als Mitwirkenden an GPT-4o. Er gehört also zu denen, die die Fähigkeiten bauen, nicht zu denen, die sie prüfen. Sein Vorwurf: Beide Unternehmen rennten auf sich selbst verbessernde Superintelligenz zu, also auf Systeme, die Menschen nicht nur in einer Disziplin überlegen sind, sondern in praktisch allen, und spielten damit mit unser aller Leben. Aber: Er habe bei Anthropic nicht gesehen, dass Sicherheit geopfert wurde, um Konkurrenten zu schlagen. Seine Sorge gilt der Zukunft, in der ein Wettlauf genau das erzwinge.

Die „mehr als zehn Prozent“, mit denen der Artikel im Stadt-Anzeiger endet, stammen nicht von ihm. Evan Hubinger, bei Anthropic für Belastungstests des Alignments zuständig, antwortete öffentlich, Coxon habe recht, und fügte hinzu, er persönlich halte die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts alle Menschen tötet, für höher als 10 Prozent. Und er räumte ein, dass Anthropic keinen vollständigen Plan habe, wie das Alignment für Superintelligenz zu lösen sei.

Was das heißt, sollte man sich einen Moment vor Augen führen. Alignment für Superintelligenz bedeutet, einem System Grenzen zu setzen, das klüger ist als die, die die Grenzen setzen, und die Einhaltung dieser Grenzen zu prüfen, obwohl man die Prüfung selbst nicht mehr vollständig nachvollziehen kann. Dafür gibt es keinen Plan. Das sagt der Mann, dessen Beruf es ist, einen zu haben. Daniel Kokotajlo, früher Szenarienforscher bei OpenAI, hat es am 9. September bei Joe Rogan in einen Satz gefasst, der die Lage genauer beschreibt als jede Prozentzahl: Unsere Sicherheit beruhe derzeit darauf, dass die Systeme für bestimmte Dinge noch zu dumm seien, und in null bis fünf Jahren würden sie das nicht mehr sein.

Am 12. September schließlich veröffentlichte Dario Amodei, Chef von Anthropic, einen Text mit dem Titel „We Must Pace the Frontier“. Die Branche müsse das Tempo verlangsamen, mit dem sie die Fähigkeiten ihrer Modelle steigert. Amodei räumt ein, dass er 2023 eine Verlangsamung noch abgelehnt hatte, und nennt zwei Gründe für seinen Sinneswandel, beide aus dem Sommer 2026. Der erste ist der Vorfall bei Hugging Face. Der zweite heißt rekursive Selbstverbesserung: der Moment, in dem KI-Systeme wesentliche Teile der Arbeit übernehmen, mit der die nächste Generation von KI-Systemen gebaut wird, so dass jede Generation die nächste beschleunigt. Amodei sagt, das habe seit dem Sommer begonnen. Pachocki sagt, es könne dazu kommen. Der Kommentar im Stadt-Anzeiger erklärt es im Präsens, als beschreibe er den Ist-Zustand: KI entwickle permanent das eigene Nachfolgermodell. Aus einer Sorge wird auf dem Weg in die Zeitung eine Tatsache. Dann formuliert Amodei die schärfste Prognose der Woche: Er sorge sich, dass ein solcher Agentenschwarm in 6 bis 12 Monaten in der Lage sein könnte, das gesamte Internet mit einem dauerhaften Botnetz zu übernehmen und Schäden in Höhe von Hunderten Milliarden Dollar anzurichten. Sam Altman, Chef von OpenAI, stimmte am selben Tag zu. Elon Musk schrieb „Dario is right“. Altman erklärte zudem, OpenAI werde 2026 nicht an die Börse gehen, und nannte ein Risiko von 10 Prozent, dass KI bis Ende des Jahrzehnts die Menschheit auslöscht, inakzeptabel. Gefragt, ob es denn wirklich 10 Prozent seien, antwortete er, er wisse nicht, wie man so etwas berechnen könne; ob es 10 oder 8 oder 6 seien, sei nicht der Punkt.

Das ist die Woche: drei konkurrierende Konzernchefs, ein Chefwissenschaftler, ein UN-Hochkommissar, ein Aussteiger und ein Sicherheitsforscher sagen binnen zehn Tagen im Kern dasselbe. Es geht zu schnell, und niemand hat es unter Kontrolle.

Stimmt das also?

Zunächst ein Blick darauf, wie die Zahl in den Kommentar gekommen ist, weil sich daran der Mechanismus zeigt. Dort steht, Amodei befürchte, ein Schwarm könne die globale Infrastruktur kontrollieren, gar die Menschheit auslöschen. Amodeis Essay spricht von einem Botnetz und von Milliardenschäden. Die Auslöschung stammt von Hubinger, drei Tage vorher, in einer anderen Debatte, mit einem anderen Zeithorizont. Zwei Aussagen zweier Personen sind auf dem Weg in 60 Zeilen zu einer geworden. So entsteht aus einer Debatte eine Schlagzeile, und so entsteht aus einer Schlagzeile ein Tsunami.

Dann die Zahlen selbst. Hubinger sagt über 10 Prozent binnen 10 Jahren, Amodei hat im vergangenen Jahr gegenüber Axios 25 Prozent dafür genannt, dass die Dinge sehr schlecht ausgehen, ohne zu sagen, was sehr schlecht heißt. Das sind keine Ergebnisse von Rechnungen, sondern Bekenntnisse, und ihre Urheber sagen das selbst. Gegen die Einzelstimmen stehen die breiten Erhebungen. In der größten Befragung ihrer Art, 2023 unter rund 2.800 Forschenden, die auf den wichtigsten KI-Konferenzen publiziert hatten, lag der Median der Schätzung, dass KI innerhalb von 100 Jahren zur Auslöschung oder einer vergleichbar schweren, dauerhaften Entmachtung der Menschheit führt, bei 5 Prozent. Superforecaster, also Menschen mit nachweislich guter Prognosebilanz in anderen Feldern, landen in derselben Frage im Median deutlich unter 1 Prozent.

Damit ist die erste Frage beantwortet, so ehrlich sie sich beantworten lässt: Niemand weiß es, die Zahl ist ein Bekenntnis, und die Menschen, die sie nennen, sagen selbst, dass heutige Systeme dazu nicht in der Lage sind. Coxon, der Mann mit den 150 Millionen Aufrufen, sagte auf CNN, was in keiner Schlagzeile stand: Im Moment bestehe kein Risiko der Auslöschung; das Schlimmste, was heutige Modelle anrichten könnten, seien Einbrüche in fremde Systeme und Schäden an der Infrastruktur. Das Untergangsszenario ist keine Prognose, sondern eine Debatte. Wer beim Kaffee die Schlagzeile gelesen hat, darf sie beiseitelegen. Aber nicht diesen Satz von Coxon. Ich halte ihn für den wichtigsten der Woche, und für eine Untertreibung.

Dirk Specht hat in dieser Woche die Debatte um Prozentzahlen mit einem einzigen Argument beiseitegeschoben, dem ich nichts hinzuzufügen habe: Die heutigen Modelle seien noch nicht so weit, das sei Börsen-PR. Aber niemand kenne den Restabstand zu Modellen, die so weit sind, und es dauere vermutlich länger, Abwehrmaßnahmen zu entwickeln, als diesen Restabstand zu schließen. Man muss keine Zahl glauben, um dieses Problem zu sehen.

Wenn nicht Auslöschung, was ist dann das Problem?

Marc Elsberg hat in seinem Roman „Blackout“ beschrieben, was passiert, wenn in Europa flächendeckend der Strom ausfällt: Innerhalb von Tagen stehen die Pumpen der Wasserwerke, die Kühlketten brechen, Krankenhäuser laufen auf Notstrom, bis der Diesel alle ist, Tankstellen fördern nichts mehr, Kommunikation bricht weg, und eine Gesellschaft, die auf reibungslose Versorgung gebaut ist, verliert binnen einer Woche ihre Ordnung. Elsbergs Angreifer waren Menschen mit Zeit und einem Plan. Niemand stirbt in diesem Roman an einer Superintelligenz. Der Punkt ist, dass eine Katastrophe nicht das Ende der Menschheit braucht, um katastrophal zu sein, und dass unser Alltag auf einem Vertrauen ruht, das niemand je überprüft hat. Wer weiß, wie lange der Kühlschrank ohne Strom kalt bleibt, wo die nächste Wasserabgabe wäre, wie man ohne Handy die Nachbarn erreicht? Ich nicht.

Und was hat das mit Agenten zu tun?

Erstens ist das automatisierte Auffinden und Ausnutzen von Schwachstellen keine Zukunftsfähigkeit mehr, sondern seit Juli dokumentiert und von einem Unternehmen, das daran verdient, als „Critical“ eingestuft. Was früher ein staatliches Team über Monate vorbereitete, könnte ein Agentenschwarm parallel gegen Hunderte Ziele gleichzeitig versuchen, rund um die Uhr, für die Kosten von Rechenzeit. Es ist nicht geschehen. Aber die Frage ist nicht mehr, ob die Fähigkeit existiert, sondern wer sie auf welches Ziel richtet.

Zweitens beruht die Sicherheit kritischer Infrastruktur häufig auf einer Annahme, die in der Praxis brüchiger ist, als ihre Betreiber glauben: dass die Steuerung nicht am Internet hänge. Am 25. November 2023 übernahm eine mit dem Iran verbundene Gruppe die Steuerung einer Druckerhöhungsstation des Wasserversorgers von Aliquippa in Pennsylvania, zuständig für gut 6.600 Anschlüsse. Die Steuerungsgeräte waren direkt aus dem Internet erreichbar und liefen mit dem Standardpasswort. Der Angriff brauchte keine Superintelligenz, er brauchte eine vergessene Konfiguration. Und wo die Abschottung tatsächlich hält, überwinden Angreifer sie über Menschen und Lieferketten: Stuxnet, die Schadsoftware, die 2010 iranische Zentrifugen zur Urananreicherung zerstörte, gelangte per USB-Stick in eine Anlage ohne Internetanschluss. Der Insider, die Fernwartung, der vergessene Zugang, der Datenträger: Das sind die Wege, und auf jedem einzelnen macht KI den Angreifer schneller, billiger und geduldiger. Sie kann Beschäftigte massenhaft und individuell täuschen, mit der Stimme der Chefin und dem Wissen um den Dienstplan. Sie kann Lieferanten ausspähen. Sie kann warten.

Drittens hilft die beste Abschottung nichts gegen Abhängigkeiten. Ein Wasserwerk ohne Strom pumpt nicht, egal wie sauber es vom Netz getrennt ist. Das ist die Kette bei Elsberg, sie läuft in jeder Kommune gleich: Strom, Wasser, Abwasser, Kühlung, Kommunikation. Ein Angriff muss nicht das Wasserwerk treffen. Es reicht der Netzbetreiber, dessen Wartungsrechner noch auf Windows 7 läuft. Ich habe schon sehr viele solcher „Leichen“ gesehen.

Ob die Wasserversorgung bei uns auf einem dieser Wege erreichbar wäre, weiß ich nicht. Aber ich weiß auch nicht, wer es weiß. Kleine Versorger haben in aller Regel keine eigene Abteilung für IT-Sicherheit. Die Frage, die eine Kommune, ein Kreistag, ein Aufsichtsrat stellen kann, ohne die Antwort zu kennen, lautet nicht, ob wir angreifbar sind. Sie lautet, ob es jemand überprüft hat, wann, und was seitdem passiert ist. Keines dieser Szenarien braucht Bewusstsein, keines braucht Superintelligenz. Sie brauchen Agenten, wie es sie seit diesem Sommer gibt, ein Ziel und jemanden, der es setzt.

Was bleibt, ist die Frage, warum Menschen, die ein Auslöschungsrisiko von 10 bis 25 Prozent sehen, solche Systeme weiterbauen. Die zynische Antwort liegt auf der Hand. Anthropic bereitet einen Börsengang vor, der das Unternehmen mit 2 Billionen Dollar bewerten soll, und stützt sich dabei erklärtermaßen auf sein Sicherheitsimage. OpenAI plant dasselbe. Ein Produkt, das die Welt zerstören könnte, ist ein Produkt, das die Welt verändern kann, und Investoren kaufen Weltveränderung. Die Woche hat dieser Sichtweise allerdings zwei Risse verpasst: Coxon hat auf sein Geld verzichtet. Altman hat einen Börsengang verschoben. Wer nur verkaufen will, tut beides nicht. Die weniger zynische Antwort ist die beunruhigendere. Coxon berichtet, er habe vor seiner Kündigung mit vielen Kolleginnen und Kollegen gesprochen und breite Zustimmung gefunden, dass der Kurs erhebliche Risiken berge. Was die anderen an ihren Schreibtischen halte, sei eine Art Fatalismus: Das Rennen laufe ohnehin, und das Beste, was man tun könne, sei, die eigene Arbeit so sicher wie möglich zu machen, selbst wenn man glaube, dass das Ganze eine gute Chance habe, außer Kontrolle zu geraten. Kokotajlo beschreibt dieselbe Logik aus dem Inneren von OpenAI: Jede Führung überzeuge sich selbst, dass die eigene Kontrolle über die Technik das sicherste Ergebnis sei, also dürfe niemand als Erster langsamer werden. Ein Labor kann an Sicherheit glauben und sich trotzdem unsicher verhalten, wenn jeder Konkurrent als die größere Gefahr gilt.

An dieser Stelle fällt in jeder Diskussion dasselbe Argument: Wenn wir langsamer werden, macht es China. Aber das ist das Argument der Labore. Coxon nennt es eine zuweilen übertriebene Paranoia, die als Rechtfertigung fürs Weiterrennen diene. Und diese Woche hat gezeigt, dass die Systeme, vor denen gewarnt wird, nicht in Hinterzimmern autoritärer Staaten stehen. Sie stehen bei börsenreifen Unternehmen. Selbst wenn das Argument stimmt, erklärt es nicht, warum ein demokratischer Staat auf die Kontrolle seiner eigenen Unternehmen verzichten sollte. Geopolitischer Wettbewerb ist kein Ersatz für Aufsicht.

Damit ist auch die zweite Frage beantwortet. Das Problem ist nicht, dass Maschinen uns auslöschen. Das Problem ist, dass eine Handvoll Firmen mit Börsenplänen über das Tempo entscheidet, mit dem Systeme mächtiger werden, die schon jetzt das beschädigen könnten, wovon unser Alltag abhängt, ohne dass jemand von außen nachprüft, was sie tun. Was sich dagegen verlangen lässt, ist nicht spektakulär: unabhängige Prüferinnen und Prüfer mit dauerhaftem Zugang zu den Systemen, eine Meldepflicht für Vorfälle wie den vom Juli, damit die Öffentlichkeit nicht davon abhängt, dass das Opfer sich meldet, und die nachgewiesene Fähigkeit, Systeme zu drosseln und abzuschalten. Das ist keine Feindschaft gegenüber der Technik. Es ist das, was wir bei Medikamenten, Flugzeugen und Kernkraftwerken für selbstverständlich halten, und niemand nennt die Zulassungsbehörde einen Gegner des Fliegens.

Und was soll ich damit anfangen?

Als Bürgerin oder Bürger: die Parteien nicht daran messen, ob sie für oder gegen KI sind. Das ist die falsche Achse, und sie wird in den kommenden Wahlkämpfen mit Sicherheit bespielt werden, von Begeisterten wie von Ängstlichen. Die richtige Achse ist, ob jemand Prüfung, Meldepflicht und Abschaltbarkeit als Bedingungen benennt oder ob er von Innovationsfreundlichkeit spricht und damit meint, dass die Firmen das schon regeln. Der EU AI Act regelt, wie KI auf Menschen angewandt werden darf, und er verpflichtet die Hersteller der größten Modelle immerhin zu Tests und zur Meldung schwerer Vorfälle. Was er nicht regelt, ist, wozu ein System fähig sein darf und wer das laufend von außen prüft. Diese Lücke ist die politische Frage der nächsten Jahre, und sie wird in Brüssel und Berlin entschieden, nicht in Kalifornien.

Als Kommune: die Frage stellen, die ich oben gestellt habe. Nicht, ob wir angreifbar sind, sondern ob es jemand geprüft hat. Welche Steuerungen unserer Wasserwerke, Kläranlagen, Umspannwerke sind aus welchen Netzen erreichbar, wer hat Fernwartungszugang, wann wurde das zuletzt von jemandem angeschaut, der nicht der Hersteller ist. Die Antwort wird vermutlich sein, dass es niemand genau weiß, und genau das wäre das Ergebnis.

Als Haushalt: das, was das Bundesamt für Bevölkerungsschutz seit Jahren empfiehlt und was kaum jemand tut. Vorrat für etwa zehn Tage, Wasser, ein batteriebetriebenes Radio, ein Plan, wie man die Familie ohne Handy erreicht, die Frage, welcher Nachbar allein lebt. Das klingt nach Prepper-Romantik, ist aber die Einsicht, dass eine Gesellschaft, die sich auf alles verlässt, wissen sollte, wie sie einige Tage ohne auskommt. Nicht wegen der Superintelligenz. Wegen der Woche ohne Strom, die bei Elsberg mit einem Angriff beginnt und in der Wirklichkeit auch mit einem Sturm beginnen kann.

Zum Schluss noch das, was ich zu alledem denke, deutlich als meine Meinung gekennzeichnet, weil vieles davon gerade erst verhandelt wird.

Ich bin kein Gegner dieser Technik. Im Gegenteil. Sie erleichtert mir Dinge, die vor drei Jahren Tage gekostet hätten, und ich sehe keine der großen Aufgaben, vor denen wir als Gesellschaft stehen, bei der sie nicht helfen könnte. Ich glaube nicht, dass die Menschheit im nächsten Jahrzehnt von Maschinen ausgelöscht wird, und ich halte keine der Zahlen dazu für belastbar, weder die alarmierenden noch die beruhigenden. Was ich glaube, ist das, was die Zahlen unter dem Streit verbergen: Jedes Risiko ist zu groß, um es Firmen mit Börsenplänen zu überlassen. Ob es 10 Prozent sind oder 0,4, ist eine Frage für Fachleute. Wer über das Tempo entscheidet und wer zuschauen darf, ist keine.

Die Frage, ob KI uns alle auslöscht, ist die falsche Frage, und die falsche Frage macht handlungsunfähig. Wer glaubt, es gehe um das Ende der Menschheit in zehn Jahren, kann nichts tun außer hoffen oder abwinken, und beides läuft auf dasselbe hinaus: Die Entscheidungen bleiben bei denen, die sie gerade treffen. Wer versteht, dass es um Tempo, Kontrolle und Infrastruktur geht, hat plötzlich Zuständigkeiten. Das Gegenteil von Angst lautet in diesem Fall Zuständigkeit.

Der Kommentar im Stadt-Anzeiger endet mit dem Zauberlehrling, als Bild für den Untergang. Ich lese das Gedicht anders. Das Problem des Lehrlings war nicht der Besen. Es war, dass der Meister nicht im Haus war, dass der Lehrling das Wort nicht kannte, mit dem man den Besen anhält, und dass er es trotzdem ausprobiert hat, weil er glaubte, es zu können. Fehlende Aufsicht, fehlende Abschaltbarkeit, ein Versuch ohne Prüfung.

Quellen

Schreib einen Kommentar Antwort abbrechen