Code ist eine Verbindlichkeit (kein Vermögenswert). Technologieführer verstehen das nicht. Sie denken, KI ist großartig, weil sie 10.000 Mal mehr Code produziert als ein Programmierer, aber das bedeutet nur, dass sie 10.000 Mal mehr Verbindlichkeiten produziert. 1/

Wenn Sie eine essayformatierte Version dieses Threads zum Lesen oder Teilen möchten, finden Sie hier einen Link dazu auf meinem überwachungsfreien, werbefreien, trackerfreien Blog: 2/

AI ist der Asbest, den wir in die Wände unserer hochmodernen Gesellschaft schaufeln: Code ist eine Haftung. Die *Fähigkeiten* des Codes sind Vermögenswerte. 3/

Das Ziel eines Technikshops ist es, Code zu haben, dessen Fähigkeiten mehr Einnahmen generieren als die Kosten, die mit dem Betrieb dieses Codes verbunden sind. 4/

Lange Zeit haben Unternehmen den falschen Glauben gehegt, dass Code im Laufe der Zeit weniger kostet: Nach einer anfänglichen Einarbeitungszeit, in der die Fehler im Code gefunden und behoben werden, benötigt der Code keine wesentliche Wartung mehr. 5/

Schließlich ist Code eine Maschine ohne bewegliche Teile - sie nutzt sich nicht ab; sie wird nicht einmal abgenutzt. Dies ist die These von Paul Masons Buch *Postkapitalismus* aus dem Jahr 2015, einem Buch, das bemerkenswert schlecht gealtert ist (wenn auch vielleicht nicht so schlecht wie Masons eigene politische Glaubwürdigkeit). 6/

Code ist keine unendlich reproduzierbare Maschine, die keine Arbeit erfordert. Vielmehr ist es eine brüchige Maschine, die zunehmend heldenhafte Maßnahmen erfordert, um sie in gutem Zustand zu halten, und die schließlich "abnutzt" (im Sinne von needing a top-to-bottom refactoring). 7/

Um zu verstehen, warum Code eine Haftung ist, muss man den Unterschied zwischen "Code schreiben" und "Software Engineering" verstehen. "Code schreiben" ist ein unglaublich nützliches, unterhaltsames und fesselndes Hobby. 8/

Es beinhaltet das Zerlegen komplexer Aufgaben in diskrete Schritte, die so präzise beschrieben sind, dass ein Computer sie zuverlässig ausführen kann, und optimiert die Leistung, indem clevere Wege gefunden werden, um die Anforderungen, die der Code an die Ressourcen des Computers stellt, wie RAM und Prozessorzyklen, zu minimieren. 9/

In der Zwischenzeit ist "Software Engineering" eine Disziplin, die "Code schreiben" umfasst, jedoch mit einem Fokus auf den langfristigen Betrieb des *Systems*, zu dem der Code gehört. 10/

Softwareengineering beschäftigt sich mit den upstream-Prozessen, die die Daten erzeugen, die das System empfängt. Es beschäftigt sich mit den downstream-Prozessen, an die das System verarbeitete Informationen ausgibt. 11/

Es befasst sich mit den angrenzenden Systemen, die Daten von denselben upstream-Prozessen empfangen und/oder Daten an dieselben downstream-Prozesse senden, an die das System sendet. 12/

"Code schreiben" bedeutet, Code zu erstellen, der *gut läuft*. "Softwaretechnik" bedeutet, Code zu erstellen, der *gut fehlschlägt*. Es geht darum, Code zu erstellen, der lesbar ist - dessen Funktionen von Dritten verstanden werden können, die möglicherweise gebeten werden, ihn zu warten. 13/

Diese Drittparteien könnten gebeten werden, die Prozesse stromabwärts, stromaufwärts oder angrenzend an das System anzupassen, um zu verhindern, dass das System zusammenbricht. 14/

Das ist das Problem: Jeder nicht triviale Code muss mit der Außenwelt interagieren, und die Außenwelt ist nicht statisch, sie ist *dynamisch*. Die Außenwelt durchbricht die Annahmen, die von Softwareautoren *ständig* gemacht werden, und jedes Mal, wenn das passiert, muss die Software repariert werden. 16/

Erinnerst du dich an Y2K? Das war ein Tag, an dem perfekt funktionierender Code, der auf perfekt funktionierender Hardware lief, aufhörte zu funktionieren - nicht weil sich der Code änderte, sondern weil *die Zeit voranschritt*. 17/

Wir sind 12 Jahre vom Y2038-Problem entfernt, wenn 32-Bit-Versionen von Unix alle nicht mehr funktionieren werden, weil auch ihnen die berechenbaren Sekunden ausgegangen sein werden. 18/

Die Existenz von "der Welt" ist ein unausweichlicher Faktor, der Software abnutzt und erfordert, dass sie oft mit enormen Kosten neu aufgebaut wird. Je länger der Code in Betrieb ist, desto wahrscheinlicher ist es, dass er "der Welt" begegnet. 20/

Nehmen Sie den Code, den Geräte verwenden, um ihren physischen Standort zu melden. Ursprünglich wurde dies für Dinge wie Abrechnung verwendet - um zu bestimmen, welches Netzwerk des Anbieters Sie verwendet haben und ob Sie sich im Roaming befinden. 21/

Dann verwendeten unsere mobilen Geräte diesen Code, um Ihren Standort zu bestimmen und Ihnen Schritt-für-Schritt-Anweisungen in Navigations-Apps zu geben. Dann wurde dieser Code erneut umfunktioniert, um uns zu helfen, unsere verlorenen Geräte zu finden. 22/

Dies wurde zu einer Möglichkeit, *gestohlene* Geräte zu lokalisieren, ein Anwendungsfall, der sich stark von der Suche nach verlorenen Geräten unterscheidet. Bei der Lokalisierung eines verlorenen Geräts müssen Sie nicht mit der Möglichkeit umgehen, dass ein böswilliger Akteur die Funktion "mein verlorenes Gerät finden" deaktiviert hat. 23/

Diese zusätzlichen Anwendungsfälle - upstream, downstream und angrenzend - haben Fehler im ursprünglichen Code aufgedeckt, die in den früheren Anwendungen nie aufgetreten sind. 24/

Zum Beispiel müssen alle Standortdienste eine Art Standardverhalten haben, falls sie (sehr häufig) nicht wirklich sicher sind, wo sie sich befinden. 25/

Vielleicht haben sie eine allgemeine Lösung - zum Beispiel wissen sie, mit welchem Mobilfunkmast sie verbunden sind, oder sie wissen, wo sie das *letzte* Mal eine genaue Standortbestimmung erhalten haben - oder vielleicht sind sie völlig verloren. 26/

Es stellt sich heraus, dass in vielen Fällen Standort-Apps einen Kreis um all die Orte zogen, an denen sie *sein könnten*, und dann ihren Standort auf die Mitte dieses Kreises setzten. 27/

Das ist in Ordnung, wenn der Kreis nur ein paar Fuß im Durchmesser hat oder wenn die App diese Annäherung schnell durch einen genaueren Standort ersetzt. Aber was ist, wenn der Standort mehrere Meilen groß ist und die Standortbestimmung *niemals* verbessert wird? 28/

Was ist, wenn der Standort für eine IP-Adresse ohne definierten Standort als *das Zentrum der kontinentalen USA* angegeben wird und jede App, die nicht weiß, wo sie sich befindet, meldet, dass sie sich in einem Haus in Kansas befindet? 29/

Und in meiner Stadt Burbank, wo der Standortfreigabedienst von Google uns einmal mitteilte, dass unsere damals 11-jährige Tochter (deren Telefon wir nicht erreichen konnten) 12 Meilen entfernt war, auf einer Autobahnauffahrt in einem nicht eingemeindeten Gebiet des LA County. 32/

(Sie war in einem nahegelegenen Park, aber außerhalb der Reichweite, und die App schätzte ihren Standort als das Zentrum der Region, in der sie zuletzt fixiert wurde.) (Es waren ein paar harte Stunden.) 33/

Der zugrunde liegende Code - der Code, der einige einst harmlose Standardwerte verwendet, um unbekannte Standorte zu verschleiern - muss *ständig* aktualisiert werden, da die vorgelagerten, nachgelagerten und angrenzenden Prozesse, die damit verbunden sind, sich *ständig* ändern. 34/

Je länger dieser Code dort sitzt, desto veralteter werden seine ursprünglichen Verhaltensweisen und desto barocker, unordentlicher und obskurer werden die darüber liegenden Patches.

Code ist kein Vermögenswert - es ist eine Verbindlichkeit. Je länger ein Computersystem läuft, desto mehr technische Schulden repräsentiert es. Je wichtiger das System ist, desto schwieriger ist es, es herunterzufahren und komplett neu zu gestalten. 36/

Stattdessen werden neue Code-Schichten darüber gelegt, und wo die Code-Schichten aufeinandertreffen, gibt es Risse, in denen diese Systeme sich nicht genau so verhalten, wie es übereinstimmt. 37/

Schlimmer noch: Wenn zwei Unternehmen fusioniert werden, werden ihre nahtlosen, rissigen IT-Systeme zusammengeknallt, sodass es jetzt *benachbarte* Quellen von technischer Schulden gibt, sowie upstream und downstream Risse: 38/

Deshalb sind große Unternehmen so anfällig für Ransomware-Angriffe – sie sind voller inkompatibler Systeme, die mit verschiedenen Formen von digitalem Knetgummi, Schnur und Draht zu einer Fälschung von Kompatibilität überredet wurden. 39/

Sie sind nicht wasserdicht und können nicht wasserdicht gemacht werden. Selbst wenn sie nicht von Hackern heruntergenommen werden, fallen sie manchmal einfach um und können nicht wieder aufgestellt werden. 40/

Erinnerst du dich, als die Computer von Southwest Airlines in der gesamten Weihnachtswoche 2022 abstürzten und Millionen von Reisenden strandeten? 41/

Fluggesellschaften sind besonders schlecht, weil sie frühzeitig auf Computer umgestiegen sind und die alten Computer niemals abschalten können, um sie durch neue zu ersetzen. Deshalb sind ihre Apps so schlecht. 42/

Deshalb ist es so schrecklich, dass die Fluggesellschaften ihr Kundenserviceteam entlassen haben und von den Fluggästen verlangen, die Apps für *alles* zu nutzen, obwohl die Apps. nicht. funktionieren. Diese Apps werden niemals funktionieren. 43/

Der Grund, warum die App von British Airways "Ein unbekannter Fehler ist aufgetreten" 40-80% der Zeit anzeigt, liegt nicht (nur) daran, dass sie alle ihre IT-Mitarbeiter entlassen und an die günstigsten Anbieter im Ausland ausgelagert haben. 44/

Es ist das, sicher - aber auch, dass die ersten Computer von BA auf elektromechanischen Ventilen liefen und alles seitdem rückwärtskompatibel mit einem System sein muss, das einer von Alan Turings Schützlingen mit seinen eigenen Vorderzähnen aus einem ganzen Holzstamm herausgeknabbert hat. 45/

Code ist eine Verbindlichkeit, kein Vermögenswert (die neue App von BA ist Jahre hinter dem Zeitplan). Code ist eine Verbindlichkeit. Die Server für die Bloomberg-Terminals, die Michael Bloomberg zum Milliardär gemacht haben, laufen auf RISC-Chips. 46/

Das bedeutet, dass es darauf angewiesen ist, eine schrumpfende Anzahl von spezialisierten Hardware- und Rechenzentrumsanbietern zu nutzen, spezialisierte Programmierer zu bezahlen und zerbrechliche Codeketten zu erstellen, um diese RISC-Systeme mit ihren weniger exotischen Pendants in der Welt zu verbinden. Code ist kein Vermögenswert. 47/

AI kann Code schreiben, aber AI kann kein Software Engineering betreiben. Software Engineering dreht sich alles um das Nachdenken über *Kontext* - was wird vor diesem System kommen? Was wird danach kommen? Was wird neben ihm stehen? Wie wird sich die Welt verändern? 48/

Softwareengineering erfordert ein sehr breites "Kontextfenster", das AI nicht hat und nicht haben kann. Das Kontextfenster von AI ist eng und flach. Lineare Erhöhungen des Kontextfensters von AI erfordern *geometrische* Erweiterungen der Rechenanforderungen: 49/

Code zu schreiben, der funktioniert, ohne zu berücksichtigen, wie er fehlschlagen wird, ist ein Rezept für eine Katastrophe. Es ist eine Möglichkeit, technische Schulden im großen Stil zu schaffen. Es ist, als würde man Asbest in die Wände unserer technologischen Gesellschaft schaufeln. 50/

Chefs *wissen nicht*, dass Code eine Verbindlichkeit und kein Vermögenswert ist. Deshalb hören sie nicht auf, über die Chatbots zu reden, die 10.000 Mal mehr Code ausspucken als jeder menschliche Programmierer. 51/

Sie denken, sie hätten eine Maschine gefunden, die *Vermögenswerte* mit einer Rate von 10.000 Mal schneller als ein menschlicher Programmierer produziert. Haben sie nicht. Sie haben eine Maschine gefunden, die *Verbindlichkeiten* mit einer Rate von 10.000 Mal schneller als jeder menschliche Programmierer produziert. 52/

Wartbarkeit ist nicht nur eine Frage der hart erkämpften Erfahrung, die dir zeigt, wo die Fallstricke liegen. 53/

Es erfordert auch die Entwicklung von "Fingerspitzengefühl" - das "Fingertipp-Gefühl", das es Ihnen ermöglicht, vernünftige Vermutungen darüber anzustellen, wo zuvor unbekannte Fallstricke auftauchen könnten. 54/

Es ist eine Form von Prozesswissen. Es ist unabwendbar. Es ist nicht latent in selbst dem größten Korpus von Code, den Sie als Trainingsdaten verwenden könnten: *Junge* verstehen Tech-Bosse das nicht. 55/

Nehmen Sie Microsoft. Ihr großes Risiko besteht derzeit in "agentic AI." Sie wollen Spyware auf Ihrem Computer installieren, die jeden Tastendruck, jede Kommunikation, jeden Bildschirm, den Sie sehen, erfasst und an die Cloud von Microsoft sendet und einer Vielzahl von Chatbots Zugang dazu gewährt. 56/

Sie behaupten, dass Sie Ihrem Computer sagen können: "Buche mir einen Zug nach Cardiff und finde das Hotel, das Cory letztes Jahr erwähnt hat, und buche mir dort ein Zimmer" und er wird es tun. Das ist eine unglaublich unpraktikable Idee. 57/

Kein Chatbot ist auch nur annähernd in der Lage, all diese Dinge zu tun, was Microsoft offen zugibt. Anstatt dies mit einem einzigen Chatbot zu tun, schlägt Microsoft vor, dies auf Dutzende von Chatbots aufzuteilen, von denen jeder eine Zuverlässigkeit von 95 % erreichen soll. 58/

Das ist an sich ein völlig unplausibler Standard für Chatbots, aber bedenke Folgendes: Wahrscheinlichkeiten sind *multiplikativ*. Ein System, das aus zwei Prozessen besteht, die mit 95% Zuverlässigkeit arbeiten, hat eine Nettoreliabilität von 90,25% (0,95 * 0,95). 59/

Teile eine Aufgabe auf mehrere Dutzend 95% genaue Bots auf, und die Wahrscheinlichkeit, dass diese Aufgabe korrekt erledigt wird, geht gegen *null*. 60/

In der Zwischenzeit geriet ein Microsoft-Manager im letzten Dezember in Schwierigkeiten, als er auf LinkedIn ankündigte, dass er die Absicht habe, *allen* Code von Microsoft von KI umschreiben zu lassen. 63/

Die Umstrukturierung von Microsofts Codebasis macht viel Sinn. Microsoft - wie British Airways und andere traditionelle Unternehmen - hat viele sehr alte Codes, die eine nicht tragbare technische Verschuldung darstellen. 64/

Einige von euch *sind* Software-Ingenieure, die Chatbots als unglaublich nützlich beim Schreiben von Code empfinden. Das ist ein häufiges AI-Paradoxon: Warum empfinden einige Menschen, die AI nutzen, es als wirklich hilfreich, während andere es verabscheuen? 66/

Sind die Menschen, die KI nicht mögen, "schlecht in KI"? Sind die KI-Fans faul und kümmern sich nicht um die Qualität ihrer Arbeit? 67/

Es gibt zweifellos beides, aber selbst wenn Sie jedem beibringen, ein AI-Experte zu sein, und alle, die keine Freude an ihrer Arbeit haben, aus der Stichprobe ausschließen, wird das Paradoxon weiterhin bestehen bleiben. 68/

Die wahre Lösung des KI-Paradoxons liegt in der Automatisierungstheorie und dem Konzept der "Zentauren" und "umgekehrten Zentauren": 69/

In der Automatisierungstheorie ist ein "Centaur" eine Person, die von einer Maschine unterstützt wird. Ein "Reverse Centaur" ist jemand, der zum *Unterstützen einer Maschine* eingezogen wurde. 70/

Angenommen, Sie sind ein Softwareingenieur, der KI verwendet, um Routinecode zu schreiben, den Sie die Zeit und Erfahrung haben, zu validieren, und dabei Ihr Fingerspitzengefühl und Prozesswissen einsetzen, um sicherzustellen, dass er für den Zweck geeignet ist. 71/

Es ist leicht zu erkennen, warum Sie die Verwendung von AI (wenn Sie es wählen, auf die Art und Weise, die Sie wählen, in dem Tempo, das Sie wählen) als nützlich empfinden könnten. Aber sagen wir, Sie sind ein Software-Ingenieur, der beauftragt wurde, Code mit 10x, 100x oder 10.000x Ihrer vorherigen Rate zu produzieren. 72/

Sag, dass der einzige Weg, das zu tun, über AI ist, und es gibt keinen menschlichen Weg, wie du diesen Code überprüfen und sicherstellen könntest, dass er beim ersten Kontakt mit der Welt nicht kaputtgeht, du wirst es hassen: 73/

(Du wirst es noch mehr hassen, wenn du in die Verantwortung des KI-Fehlers gezogen wurdest und persönlich für die Fehler der KI verantwortlich bist.) Es gibt eine weitere Möglichkeit, wie Software-Ingenieure KI-generierten Code als unglaublich hilfreich empfinden: wenn dieser Code *isoliert* ist. 74/

Wenn Sie ein einzelnes Projekt durchführen – sagen wir, eine Charge von Dateien einmal in ein anderes Format zu konvertieren – müssen Sie sich keine Gedanken über nachgelagerte, vorgelagerte oder angrenzende Prozesse machen. Die gibt es nicht. 75/

Du schreibst Code, um etwas einmal zu tun, ohne mit anderen Systemen zu interagieren. Ein *großer* Teil des Programmierens ist dieses Art von Dienstprogrammprojekt. Es ist mühsam, undankbar und reif für die Automatisierung. 76/

Viele persönliche Projekte fallen in diese Kategorie, und natürlich ist ein persönliches Projekt per Definition ein Zentaur-Projekt. Niemand zwingt dich, AI in einem persönlichen Projekt zu verwenden - es liegt immer an dir, wie und wann du ein beliebiges Werkzeug persönlich nutzt. 77/

Aber die Tatsache, dass Software-Ingenieure manchmal ihre Arbeit mit AI verbessern können, entwertet nicht die Tatsache, dass Code eine Verbindlichkeit und kein Vermögenswert ist und dass AI-Code die Produktion von Verbindlichkeiten in großem Maßstab darstellt. 78/

In der Geschichte der technologischen Arbeitslosigkeit gibt es die Idee, dass neue Technologien neue Arbeitsplätze schaffen, auch wenn sie alte obsolet machen: Für jeden Schmied, der durch das Automobil arbeitslos wird, gibt es einen Job als Mechaniker, der wartet. 79/

In den Jahren, seit die AI-Blase zu wachsen begann, haben wir viele Versionen davon gehört: AI würde Jobs für "Prompt Engineers" schaffen - oder sogar Jobs, die wir uns nicht vorstellen können, weil sie erst existieren werden, wenn AI die Welt unkenntlich verändert hat. 80/

Ich würde nicht darauf wetten, in einem fantasievollen Beruf Arbeit zu finden, der buchstäblich nicht vorstellbar ist, weil sich unser Bewusstsein durch KI nicht so verändert hat, dass es die Fähigkeit erlangt hat, diese neuen Arbeitsweisen zu konzipieren. 81/

Aber wenn Sie *nach* einem Job suchen, den KI definitiv in Millionenhöhe schaffen wird, habe ich einen Vorschlag: digitale Asbestentfernung. 82/

AI-Code - geschrieben mit 10.000 Mal der Geschwindigkeit eines menschlichen Programmierers, entworfen, um gut zu funktionieren, aber nicht um elegant zu scheitern - ist das digitale Asbest, mit dem wir unsere Wände füllen. Unsere Nachkommen werden Generationen damit verbringen, dieses Asbest aus den Wänden zu graben. 83/

Es wird viel Arbeit nötig sein, die Dinge zu reparieren, die wir kaputt gemacht haben, dank der gefährlichsten AI-Psychose von allen - dem halluzinatorischen Glauben, dass "Code schreiben" dasselbe ist wie "Software Engineering." 84/

Bei dem Tempo, das wir vorlegen, werden wir für Generationen von Asbestentfernern Vollbeschäftigung haben. 85/