Die Trajektorie der Zukunft könnte bald in Stein gemeißelt werden. In einem neuen Papier betrachte ich die Mechanismen, durch die der langfristige Kurs der Zukunft innerhalb unserer Lebenszeit bestimmt werden könnte. Diese umfassen die Schaffung von AGI-gestützten Institutionen, eine globale Konzentration von Macht, die weit verbreitete Besiedlung des Weltraums, die ersten unsterblichen Wesen, das weit verbreitete Design neuer Wesen und die Fähigkeit zur signifikanten und dauerhaften Selbstmodifikation. Ich bin mir nicht sehr sicher, dass solche Ereignisse eintreten werden, aber meiner Meinung nach sind sie wahrscheinlich genug, um die Arbeit, sie in bessere Richtungen zu lenken, sehr wertvoll zu machen. Lassen Sie uns jeden Mechanismus der Reihe nach betrachten. Zuerst, AGI-basierte Institutionen. Sobald wir AGI haben, könnten Entscheidungsträger: - Eine Institution einrichten und die AGI so ausrichten, dass sie diese Verfassung versteht und die Durchsetzung dieser Verfassung als ihr Ziel hat. - Diese AGI mit der Fähigkeit ausstatten, die Verfassung durchzusetzen. - Kopien der neuronalen Gewichte der AGI an mehreren Orten speichern, um das Risiko der Zerstörung einer der Kopien zu verringern. - Die ursprüngliche Verfassungs-AGI neu laden, um zu überprüfen, dass alle AGIs, die mit der Sicherstellung der Einhaltung der Verfassung beauftragt sind, ihre ursprünglichen Ziele beibehalten, während diese AGIs im Laufe der Zeit lernen und ihre neuronalen Gewichte aktualisieren. Das wäre so, als ob wir anstelle des Obersten Gerichtshofs die US-Verfassung zu interpretieren, die Geister von Madison und Hamilton heraufbeschwören und sie direkt fragen könnten - und ihre Ansichten wären entscheidend. Mit diesen Mechanismen könnte diese AGI-gestützte Verfassung unbegrenzt operieren. Zweitens, Unsterblichkeit. Im Laufe der Geschichte hat der Tod als natürlicher Bremsfaktor für die Beständigkeit eines bestimmten Wertesystems oder von Machtstrukturen fungiert. Im Laufe der Zeit ändern sich selbst die am tiefsten verwurzelten Werte, wenn neue Generationen die alten ersetzen. Post-AGI-Technologie könnte dieses dynamische Gleichgewicht grundlegend verändern. Digitale Wesen wären von Natur aus immun gegen biologische Alterung; in Kombination mit perfekter Replikation und Hardware-Migration werden wir in der Lage sein, die Geister zu schaffen, deren genaue Werte und Entscheidungsprozesse unbegrenzt unverändert bestehen bleiben könnten. Ein ähnliches dynamisches Gleichgewicht könnte für biologische Unsterblichkeit gelten. Eine technologische Explosion, die von AGI angetrieben wird, könnte die biologischen Einschränkungen der menschlichen Lebensspanne dramatisch verlängern oder effektiv beseitigen, indem Technologien entwickelt werden, die auf die grundlegenden Mechanismen des Alterns abzielen. Drittens, das Design von Wesen. Im Laufe der Geschichte hat der Wandel teilweise stattgefunden, weil nachfolgende Generationen nicht die gleichen Werte wie ihre Vorfahren erben. Aber dieses dynamische Gleichgewicht könnte sich nach AGI ändern. Wahrscheinlich werden die meisten Wesen, die wir erschaffen, KI sein, und sie werden Produkte des Designs sein - wir werden in der Lage sein, ihre Präferenzen auszuwählen. Und mit ausreichender technologischer Fähigkeit könnten wir wahrscheinlich auch die Präferenzen unserer biologischen Nachkommen wählen. Selbst wenn Menschen sich entscheiden, nicht ewig zu leben, könnten ihre Werte durch perfekte Übertragung von einer Generation zur nächsten bestehen bleiben. Viertens, starke Selbstmodifikation. In der Zukunft werden Menschen wahrscheinlich in der Lage sein, ihre eigenen Überzeugungen und Präferenzen so zu modifizieren, dass sie genau wählen können, welche Überzeugungen und Präferenzen sie haben möchten. So könnten nicht nur Menschen heute in der Lage sein, die zukünftigen Werte der Gesellschaft zu kontrollieren, indem sie ewig leben; sie könnten auch die Werte ihrer zukünftigen Selbst kontrollieren. Ein religiöser Fanatiker könnte sich entscheiden, unerschütterliche Gewissheit zu haben, dass ihre bevorzugte Religion wahr ist; ein ideologischer Extremist könnte sich entscheiden, eine unwiderrufliche und unerschütterliche Präferenz für ihre politische Partei über jede andere zu haben. Neben der Schaffung neuer Mechanismen, die eine anhaltende Pfadabhängigkeit ermöglichen, könnte eine post-AGI-Welt auch die Ursachen von Störungen verringern. Im Laufe der Geschichte wurden gesellschaftliche Veränderungen oft durch technologische Innovationen vorangetrieben, die bestehende Machtstrukturen stören. Wenn die Zivilisation jedoch die technologische Reife erreicht - den hypothetischen Punkt, an dem alle wichtigen Technologien erfunden wurden - würde diese Quelle der Störung verschwinden. Fortschrittliche Technologie würde auch andere Arten von Störungen verhindern. Sie würde die Vorhersagefähigkeiten dramatisch verbessern: Fortschrittliche KI-Systeme könnten weitaus mehr Informationen verarbeiten, komplexe Systeme mit größerer Präzision modellieren und Ergebnisse über längere Zeiträume vorhersagen. Es wäre also viel weniger wahrscheinlich, dass Menschen ihren Einfluss einfach durch einen Fehler aufgeben. Schließlich könnte eine post-AGI-Welt durch unendliche Verteidigungsdominanz gekennzeichnet sein, die eine dauerhaft stabile Konzentration von Macht ermöglicht. Insbesondere könnte unendliche Verteidigungsdominanz als Ergebnis der weit verbreiteten Besiedlung des Weltraums entstehen. Wenn Sternensysteme stark verteidigungsdominant sind, könnte die anfängliche Verteilung der Sternensysteme prinzipiell unbegrenzt gehalten werden. Es könnte sein, dass nach der ursprünglichen Zuteilung ein Handel oder eine Schenkung einiger Sternensysteme stattfindet; aber selbst dann würde es immer noch eine sehr starke Pfadabhängigkeit geben, da die endgültige Zuteilung der Sternensysteme extrem von der ursprünglichen Zuteilung beeinflusst würde. Diese Themen mögen wie weit hergeholte Bedenken erscheinen - aber die Intelligenz- und Industrieexplosionen machen sie kurzfristig relevant. Ich denke, es ist über 1 zu 3, dass wir in den nächsten 10 Jahren eine Intelligenzexplosion sehen werden. Und wenn fortschrittliche KI zu explosivem technologischem Fortschritt und industrieller Expansion führt, werden viele der neuen Mechanismen für Beständigkeit schnell aufeinander folgen.

Was ist mit *meinen* Anwendungsfällen? Ich habe ein paar private, sehr schwierige Benchmark-Fragen (eine Philosophie, eine Finanzen) und.... GPT-5-Pro hat eindeutig am besten von allen Modellen abgeschnitten. Ich war wirklich beeindruckt. Zwischen diesem und Gemini-2.5-Pro habe ich das Gefühl, dass eine echte "Philosophie-Assistent"-KI fast in Reichweite ist.

Reddit *hasst* die Veröffentlichung von GPT-5. (Das ist nur ein hoch bewerteter Thread unter vielen.)

Wir leben mitten in vielen moralischen Katastrophen, alle auf einmal. Technologischer und materieller Überfluss hat uns die Möglichkeit gegeben, eine wirklich blühende Welt zu schaffen, und wir haben diese Gelegenheit völlig vertan. Wird das Gleiche für die Zukunft gelten?

1/ 🚨 Neuer Bericht veröffentlicht! Zukunft mit digitalen Köpfen: Expertenprognosen für 2025 Zusammen mit Bradford Saad habe ich Experten zur Zukunft digitaler Köpfe befragt – Computer, die fähig sind, subjektive Erfahrungen zu machen. Hier ist, warum das wichtig ist und was sie gesagt haben 👇

Super interessantes Papier. Wenn eine fehlgeleitete KI eine zufällige Zahlenfolge generiert und eine andere KI auf diese Zahlen feinabgestimmt wird, wird die andere KI fehlgeleitet. Aber nur, wenn beide KIs vom selben Basis-Modell ausgehen. Das hat Konsequenzen für die Verhinderung geheimer Loyalitäten: - Wenn ein Mitarbeiter GPT-5 so feinabstimmt, dass es ihm geheim loyal ist, könnte er dann harmlos wirkende Daten generieren und alle anderen GPT-5-Kopien so feinabstimmen, dass sie geheim loyal sind (z. B. indem er die Daten in weiterer Nachschulung einfügt) - ABER diese Technik würde nicht funktionieren, um GPT-6 auf die gleiche Weise geheim loyal zu machen (Ich bezweifle, dass diese Technik tatsächlich für etwas so Komplexes wie eine ausgeklügelte geheime Loyalität funktionieren würde, aber das ist die Implikation des Musters hier, wenn ich es richtig verstanden habe)

Ich habe @AricFloyd jahrelang zugeredet, einen YouTube-Kanal zu starten... aber 2M+ Aufrufe beim ersten Mal? Wow, das ist beeindruckend. (Es ist auch ein großartiges Video - eine Übersicht über @DKokotajlo's AI2027 - schaut es euch an!)

Ich freue mich, meine neue Forschungsorganisation Fivethought anzukündigen! Bei Fivethought konzentrieren wir uns darauf, wie man den Übergang von "Übergang zu einer Welt mit superintelligenten KI-Systemen" zu "einer Welt mit superintelligenten KI-Systemen" navigiert. (1/n)

*Neu* @givewell Podcast - Wir teilen einige grobe Schätzungen zu den prognostizierten Kürzungen bei Hilfsgeldern: - 60 Milliarden USD an globalen Gesundheitsmitteln vor den Kürzungen - 6 Milliarden USD davon sind extrem kosteneffektiv (doppelt so hoch wie unsere aktuelle "10x"-Messlatte, ca. 3.000 USD/gerettetes Leben) - 25% Kürzungen werden in diesen extrem kosteneffektiven Programmen prognostiziert