Trajektorie budoucnosti by mohla být brzy vytesána do kamene. V novém článku se zabývám mechanismy, jejichž prostřednictvím by se mohl během našeho života určovat dlouhodobý budoucí směr. Patří mezi ně vytvoření institucí vynucených AGI, globální koncentrace moci, rozsáhlé osídlení vesmíru, první nesmrtelné bytosti, rozšířený design nových bytostí a schopnost sebemodifikace významnými a trvalými způsoby. Nejsem si příliš jistý, že k takovým událostem dojde, ale podle mého názoru jsou dostatečně pravděpodobné na to, aby se práce na jejich nasměrování lepším směrem stala velmi cennou. Vezměme si postupně každý mechanismus. Za prvé, instituce založené na AGI. Jakmile budeme mít AGI, osoby s rozhodovací pravomocí by mohly: - Založit instituci a sladit AGI tak, aby rozuměla této ústavě a měla za cíl vynucování této ústavy. - Dát této AGI schopnost vynucovat ústavu. - Ukládat kopie nervových vah AGI na více místech, aby se snížilo riziko zničení kterékoli z kopií. - Znovu načtěte původní konstituční AGI a zkontrolujte, zda všechny AGI, které mají za úkol zajistit soulad s ústavou, dodržují své původní cíle, protože tyto AGI se v průběhu času učí a aktualizují své nervové váhy. To by bylo, jako bychom místo toho, aby Nejvyšší soud vykládal americkou ústavu, mohli vyvolat duchy Madisona a Hamiltona a zeptat se jich přímo - a jejich názory byly rozhodující. S těmito na místě by tato AGI vynucená ústava mohla fungovat neomezeně dlouho. Za druhé, nesmrtelnost. V průběhu historie smrt fungovala jako přirozená brzda pro přetrvávání jakéhokoli konkrétního souboru hodnot nebo mocenských struktur. Postupem času se i ty nejzakořeněnější hodnoty nakonec změní, protože nové generace nahradí ty staré. Post-AGI technologie by mohla tuto dynamiku zásadně změnit. Digitální bytosti by byly ze své podstaty imunní vůči biologickému stárnutí; V kombinaci s dokonalou replikací a migrací hardwaru budeme schopni vytvořit mysli, jejichž přesné hodnoty a rozhodovací procesy by mohly přetrvávat nezměněné donekonečna. Podobná dynamika by mohla platit i pro biologickou nesmrtelnost. Technologická exploze poháněná AGI by mohla dramaticky rozšířit nebo účinně odstranit biologická omezení lidského života prostřednictvím technologií zaměřených na základní mechanismy stárnutí. Za třetí, navrhování bytostí. V průběhu dějin došlo ke změně zčásti proto, že po sobě jdoucí generace nezdědily stejné hodnoty jako jejich předchůdci. Tato dynamika by se však mohla změnit po AGI. Pravděpodobně drtivá většina bytostí, které vytvoříme, budou umělé inteligence a budou to produkty designu – budeme si moci vybrat, jaké preference budou mít. A s dostatečnými technologickými schopnostmi bychom pravděpodobně byli schopni volit preference i našich biologických potomků. I když se lidé rozhodnou nežít věčně, jejich hodnoty by mohly nadále přetrvávat díky dokonalému přenosu z jedné generace na druhou. Za čtvrté, silná sebemodifikace. V budoucnu budou lidé pravděpodobně schopni upravit svá vlastní přesvědčení a preference tak, aby si mohli přesně vybrat, jaká přesvědčení a preference budou mít. Dnešní lidé by tedy mohli být schopni ovládat budoucí hodnoty společnosti tím, že budou žít věčně; Byli by také schopni ovládat hodnoty svého budoucího já. Náboženský fanatik se může rozhodnout, že bude mít neochvějnou jistotu, že jeho oblíbené náboženství je pravdivé; Ideologický extremista se může rozhodnout mít neodvolatelnou a neochvějnou preferenci ve prospěch své politické strany před jakoukoli jinou. Kromě vytvoření nových mechanismů, které umožňují trvalou závislost na cestě, by svět po AGI mohl také snížit příčiny narušení. V průběhu historie byly společenské změny často poháněny technologickými inovacemi, které narušovaly stávající mocenské struktury. Nicméně, jak se civilizace blíží k technologické zralosti – hypotetickému bodu, ve kterém byly vynalezeny všechny hlavní technologie – tento zdroj narušení by zmizel. Pokročilá technologie by pomohla zabránit i dalším druhům narušení. Dramaticky by zlepšila predikční schopnosti: pokročilé systémy umělé inteligence by mohly zpracovávat mnohem více informací, modelovat složité systémy s větší přesností a předpovídat výsledky v delších časových horizontech. Bylo by tedy mnohem méně pravděpodobné, že by se lidé vzdali svého vlivu jen tím, že by udělali nějakou chybu. A konečně, svět po AGI by mohl být charakterizován neomezenou dominancí v obraně, což by umožnilo trvale stabilní koncentraci moci. Zejména neomezená obranná nadvláda by mohla nastat v důsledku rozsáhlého osídlení vesmíru. Pokud jsou hvězdné systémy silně obranně dominantní, pak počáteční rozložení hvězdných systémů by mohlo být v principu zachováno neomezeně dlouho. Může se stát, že po počáteční alokaci dojde k obchodu nebo darování některých hvězdných systémů; Ale i kdyby tomu tak bylo, stále by existovala velmi silná závislost na dráze, protože konečné rozdělení hvězdných systémů by bylo extrémně ovlivněno počátečním rozdělením. Tyto problémy se mohou zdát jako vzdálené obavy – ale inteligence a průmyslové exploze je činí krátkodobými. Myslím, že je to více než 1 ze 3, kdy vidíme explozi inteligence, která začne v příštích 10 letech. A pokud pokročilá umělá inteligence povede k explozivnímu technologickému pokroku a průmyslové expanzi, pak mnoho nových mechanismů pro vytrvalost dorazí v rychlém sledu.

A co pro *mé* případy použití? Mám pár soukromých velmi tvrdých benchmarkových Q (jedna filozofie, jeden finance) a.... GPT-5-Pro udělal jasně to nejlepší ze všech modelů. Byl jsem opravdu ohromen. Mezi tím a Gemini-2.5-Pro mám pocit, že skutečná umělá inteligence "asistenta filozofie" je téměř na dosah.

Reddit *nenávidí* vydání GPT-5. (Toto je jen jedno vlákno s vysokým počtem hlasů z mnoha.)

Žijeme uprostřed mnoha morálních katastrof, všech najednou. Technologická a materiální hojnost nám dala příležitost vytvořit skutečně vzkvétající svět a my jsme tuto příležitost zcela promarnili. Bude totéž platit i pro budoucnost?

1/ 🚨 Nová zpráva venku! Futures s Digital Minds: Expertní předpovědi v roce 2025 Společně s Bradfordem Saadem jsem se dotazoval odborníků na budoucnost digitálního myšlení – počítačů schopných subjektivní zkušenosti. Zde je důvod, proč je to důležité a co řekli 👇

Super zajímavý článek. Pokud špatně zarovnaná umělá inteligence vygeneruje náhodný řetězec čísel a jiná umělá inteligence je na těchto číslech jemně vyladěna, druhá umělá inteligence se špatně zarovná. Ale pouze v případě, že obě umělé inteligence vycházejí ze stejného základního modelu. To má důsledky pro prevenci tajné loajality: - Pokud zaměstnanec vyladí GPT-5 tak, aby k němu byl tajně loajální, mohl by pak generovat neškodná zdánlivě data a vyladit všechny ostatní kopie GPT-5 tak, aby byly tajně loajální (např. vložením dat do dalšího post-školení) - ALE tato technika by nefungovala k tomu, aby byl GPT-6 tajně loajální stejným způsobem (Pochybuji, že by tato technika skutečně fungovala pro smg tak složité, jako je sofistikovaná tajná loajalita, ale to je důsledek tohoto vzorce, pokud jsem to správně pochopil)

Roky jsem @AricFloyd pronásledoval a snažil se ho přimět, aby vytvořil kanál na youtube... ale 2M+ zhlédnutí na první pokus? Sakra, to je působivé. (Je to také skvělé video - přehled AI2027 @DKokotajlo - podívejte se na něj!)

S potěšením oznamuji svou novou výzkumnou organizaci, Fivethought! V Fivethought se zaměřujeme na to, jak zvládnout přechod od "přechodu do světa se superinteligentními systémy AI" do "světa se superinteligentními systémy AI". (1/n)

*Nový* @givewell podcast - Sdílíme několik hrubých odhadů předpokládaných škrtů pomoci: - 60 miliard dolarů v předběžném financování globálního zdravotnictví - 6 miliard dolarů z toho je extrémně nákladově efektivní (dvojnásobek našeho současného "10x" baru, ~3 tisíce dolarů/smrt odvrácena) - U těchto extrémně nákladově efektivních programů se předpokládají 25% škrty