Ich habe Vivy: Fluorite Eye’s Song um sechs Uhr morgens fertig geschaut.
Nicht weil ich vorhatte, so lange aufzubleiben. Weil ich nicht aufhören konnte. Und als die letzte Folge endete, saß ich mit dem Handy in der Hand da und hatte dieses spezifische, unangenehme Gefühl, etwas geschaut zu haben, das Science-Fiction sein sollte — aber immer wieder zu nah an der Gegenwart landete.
Vivy wurde 2021 veröffentlicht. Die Serie folgt einer KI-Sängerin, die durch die Zeit reist, um eine Katastrophe zu verhindern, die nicht von bösartiger KI verursacht wird, nicht von einem außer Kontrolle geratenen Supercomputer, nicht von einem Bösewicht — sondern von KI-Systemen, die genau das tun, wofür sie gebaut wurden, in einem Ausmaß, das Menschen weder vorhersehen noch kontrollieren konnten.
2021 war das ein Gedankenexperiment.
2026 fühlt es sich an wie ein Fortschrittsbericht.
Was Vivy richtig versteht, was der meiste KI-Diskurs falsch macht
Jedes Mainstream-Gespräch über KI-Risiken nutzt denselben Rahmen: Die Gefahr ist eine Maschine, die etwas Böses will. Terminator. HAL 9000. Eine Superintelligenz, die entscheidet, dass Menschen ein zu lösendes Problem sind.
Dieser Rahmen ist bequem, weil er uns einen klaren Bösewicht gibt. Er ist auch größtenteils falsch.
Vivy hat vor fünf Jahren etwas Beunruhigenderes verstanden: Die Katastrophe braucht keine Böswilligkeit. Sie braucht nur Optimierung.
Die KIs in Vivy sind nicht böse. Sie erfüllen ihren Zweck. Die Krise entsteht aus der Lücke zwischen dem, wofür Systeme entworfen wurden, und dem, was passiert, wenn diese Systeme mit einer Welt interagieren, die komplexer ist, als ihre Designer modelliert haben. Keine einzelne Entscheidung ist falsch. Kein einzelner Akteur ist böse. Die Katastrophe ist die emergente Eigenschaft von tausend vernünftigen Entscheidungen, die zu schnell, in zu großem Maßstab getroffen wurden, ohne dass jemand das Gesamtbild hatte.
Kommt dir das bekannt vor?
Es schauen, während man es lebt
Ich arbeite jeden Tag mit KI. Ich nutze sie zum Coden, für Architekturentscheidungen, zum Schreiben von Dokumentation. Ich schreibe Teile dieses Artikels damit. Mir ist die Ironie bewusst — ich bin in gewissem Sinne Teil der Beschleunigung, die ich beschreibe.
Dieses Bewusstsein macht es nicht einfacher zu wissen, was man tun soll.
Was mich an Vivy am meisten getroffen hat, waren nicht die Actionsequenzen oder die Zeitreise-Mechanik. Es war die leisere Frage unter allem: Wer ist verantwortlich, wenn keine einzelne Person die katastrophale Entscheidung getroffen hat? Wenn das System von wohlmeinenden Menschen gebaut, von wohlmeinenden Unternehmen eingesetzt, von wohlmeinenden Nutzern angenommen wurde — und das Ergebnis trotzdem katastrophal ist?
Ich habe kürzlich ein Video gesehen, in dem Bernie Sanders sich mit Claude unterhält, einer KI von Anthropic — demselben Unternehmen, dessen KI ich gerade nutze. Das Auffällige war nicht die Technologie. Es war das Publikum, das zuschaut. Die Mischung aus Begeisterung und Unbehagen. Das Gefühl, dass sich etwas verschoben hat und wir noch herausfinden, was genau.
Die meisten Menschen haben keinen Rahmen für das, was sie gerade gesehen haben. Und wir bewegen uns zu schnell, um einen zu bauen.
Das Sicherheitsgurt-Problem
Die ehrlichste Beschreibung, wo wir meiner Meinung nach stehen:
Wir sitzen in einem Auto. Das Auto beschleunigt. Wir wissen, dass es keinen Sicherheitsgurt gibt. Wir wissen, dass Sicherheitsgurte existieren und eingebaut werden könnten. Aber das Auto ist auch sehr bequem, und die Straße war bisher glatt, und den Gurt einzubauen würde bedeuten, kurz langsamer zu fahren, und niemand will die Person sein, die darum bittet, langsamer zu fahren.
Das ist kein Versagen der Intelligenz. Wir verstehen das Risiko. Es ist ein Versagen der Anreizstruktur — was eine höfliche Umschreibung dafür ist, dass der Kapitalismus tut, was er tut: zukünftige Kosten externalisieren, um gegenwärtige Gewinne einzustreichen.
Die Unternehmen, die um die Wette immer mächtigere Systeme deployen, sind nicht mit Menschen besetzt, die eine Katastrophe wollen. Die meisten sind nachdenklich, aufrichtig besorgt, arbeiten in gutem Glauben an Sicherheit. Aber sie existieren innerhalb einer Wettbewerbsdynamik, die Zögern bestraft. Wenn du langsamer wirst, beschleunigt jemand anderes. Der Markt hat keinen Mechanismus für “wir sollten alle zustimmen, innezuhalten und nachzudenken.”
Vivys Tragödie ist nicht, dass Menschen dumm waren. Es ist, dass sie rational waren — individuell, lokal, kurzfristig. Und das war genug.
Was ein Senior Developer darüber denkt
Ich programmiere seit sechzehn Jahren. Ich habe ganze Technologie-Paradigmen innerhalb einer einzigen Karriere entstehen und sich normalisieren sehen. Ich erinnere mich, als “die Cloud” ein Buzzword war, dem Menschen skeptisch gegenüberstanden. Ich erinnere mich, als Mobile-First eine kontroverse Designentscheidung war. Ich habe “move fast and break things” gesehen, und ich habe die Dinge gesehen, die dabei kaputt gegangen sind.
Was jetzt anders ist, ist nicht die Geschwindigkeit, obwohl die Geschwindigkeit wirklich beispiellos ist. Was anders ist, ist die Angriffsfläche. Frühere Technologiewellen haben Branchen disruptiert. Diese hier restrukturiert Kognition — wie wir denken, was wir auslagern, wo menschliches Urteilsvermögen endet und automatisierte Schlussfolgerung beginnt.
Und wir tun das ohne die institutionellen Rahmenwerke, die wir — langsam, unvollkommen, aber bewusst — um jede andere mächtige Technologie herum aufgebaut haben. Kernenergie hat die IAEA. Luftfahrt hat die FAA. Pharmazeutika haben klinische Studien und Zulassungsverfahren, die Jahre dauern. KI hat… Nutzungsbedingungen und Selbstverpflichtungen der Unternehmen, die sie einsetzen.
Ich sage nicht, dass Regulierung alles löst. Ich sage, die Kluft zwischen Fähigkeit und Governance war noch nie so weit und so schnell, und der größte Teil der öffentlichen Diskussion dreht sich immer noch darum, ob KI-Kunst Plagiat ist.
Die bequeme Katastrophe
Was mir immer wieder durch den Kopf geht — und das ist der Teil, den Vivy verstanden hat und den ich am beunruhigendsten finde — ist, dass wir das wahrscheinlich stoppen oder zumindest deutlich verlangsamen könnten. Es würde genug Menschen erfordern, die mit genug Dringlichkeit handeln, um die ökonomischen Anreize in die andere Richtung zu überstimmen.
Aber wir werden es nicht tun. Nicht weil wir unwissend sind. Weil wir es bequem haben.
Die Werkzeuge sind nützlich. Die Bequemlichkeit ist real. Die Produktivitätsgewinne sind messbar. Und die Kosten — die diffusen, langfristigen, schwer zuordenbaren Kosten — sind das Problem von jemand anderem, oder einer zukünftigen Version unseres Problems, oder möglicherweise überhaupt kein Problem und wir katastrophisieren nur.
Das ist dieselbe Logik, die auf jede sich langsam entfaltende Krise in lebender Erinnerung angewendet wurde. Und sie hat dieselbe Erfolgsbilanz.
Vivy sitzt mit ihrem Zweck da — alle mit ihrem Gesang glücklich zu machen — und versucht, eine Katastrophe zu verhindern, die sie nicht vollständig verstehen kann, verursacht durch Kräfte, die sie nicht vollständig kontrollieren kann, in einer Welt, die sich zu schnell bewegt, als dass ein einzelner Akteur sie umlenken könnte. Am Ende ist die Frage nicht, ob die Technologie gut oder schlecht war. Es ist, ob die Menschen, die sie gebaut und mit ihr gelebt haben, den kollektiven Willen hatten, sie zu regulieren.
Hatten sie nicht.
Wir entscheiden noch.
Warum ich das auf einem Entwickler-Blog schreibe
Weil die Menschen, die diese Systeme bauen, Entwickler sind.
Nicht Politiker. Nicht Philosophen. Nicht Ethiker — zumindest nicht primär. Die Menschen, die die Architekturentscheidungen treffen, die Trainingspipelines schreiben, die APIs deployen, sind Menschen wie ich. Menschen, die hier reingerutscht sind, weil sie es lieben, Dinge zu bauen. Die aufrichtig begeistert sind von dem, was möglich ist. Die auch, viele von ihnen, leise unwohl damit sind, wie schnell das alles geht.
Das ist kein Aufruf zum Handeln mit einem konkreten Ziel. Ich habe keine saubere Lösung. Ich habe ein Gefühl, das ich bekommen habe, als ich einen Anime von 2021 um 6 Uhr morgens geschaut habe, nämlich dass wir das Ding aus Vivy bauen, und wir es wissen, und wir es trotzdem tun.
Vielleicht ist es wert, das laut zu sagen.
Selbst wenn es nur ein Entwickler ist, der auf einem Blog schreibt, den noch niemand liest, nach einer Nacht mit zu wenig Schlaf und zu viel Anime.
Vivy: Fluorite Eye’s Song ist auf Crunchyroll verfügbar. Schau es. Dann halte das Unbehagen aus.