Umělou inteligencí (tehdy strojovým učením...) se hluboce zabývám od roku 2007. studoval strojové učení v USA, přečetl většinu knih, poslouchal každý podcast. Nic mě nešokovalo tak jako nedávná kniha + rozhovor Romana Yampolského. 🧵

Jeho názor je vzácný + hluboký: Budování umělé superinteligence (ASI) je nejen riskantní, ale v podstatě garantované vyhynutí.

Schopnost je vyřešena (Compute + Data = chytřejší AI). bezpečnost není vyřešena. a propast mezi nimi se každým dnem zvětšuje.

Predikční trhy + vedoucí laboratoře říkají, že AGI by mohlo dorazit do roku 2027. Superinteligence pravděpodobně následuje automaticky. Nejsme připraveni.

Roman předpovídá ne 10% nezaměstnanost, ale téměř úplnou (>99%+). jak kognitivní + fyzická práce nahrazena. Rekvalifikace nepomůže, pokud jsou všechny práce automatizovatelné.

"Mantinely" jsou náplasti. Chytřejší systémy je obcházejí. Odpojit? fantazie. Nevytáhnete zástrčku z něčeho, co vás přechytračí, ale vytáhne to vaše.

Riziko vyhynutí ani nepotřebuje ASI. Bio s pomocí umělé inteligence by mohlo dát jednomu špatnému aktérovi nástroje pro civilizační škody.

Dynamika závodů je rozbitá: jakmile se ASI zapne, nezáleží na tom, kdo ho postavil. obě strany prohrávají.

Romanova výzva: Pauza asi. Úzkou umělou inteligenci si ponechte pro skutečné problémy. Přestaňte se honit za "božskými" systémy, které nemůžeme sladit nebo kontrolovat.