Zajmuję się AI (uczeniem maszynowym wtedy...) od 2007 roku. Studiowałem uczenie maszynowe w USA, przeczytałem większość książek, słuchałem każdego podcastu. Nic mnie nie zszokowało tak jak ostatnia książka i wywiad Romana Yampolskiego. 🧵

jego zdanie jest rzadkie i głębokie: budowanie sztucznej superinteligencji (asi) nie tylko wiąże się z ryzykiem, ale jest praktycznie gwarancją wyginięcia.

zdolność jest rozwiązana (obliczenia + dane = mądrzejsza AI). bezpieczeństwo nie jest rozwiązane. a luka między tymi dwoma rośnie z każdym dniem.

rynki predykcyjne + liderzy laboratoriów mówią, że AGI może się pojawić do 2027 roku. Superinteligencja prawdopodobnie nastąpi automatycznie. Nie jesteśmy gotowi.

Roman przewiduje nie 10% bezrobocia, ale bliskie całkowitemu (>99%+). zarówno prace umysłowe, jak i fizyczne zostaną zastąpione. przekwalifikowanie nie pomoże, jeśli wszystkie miejsca pracy będą mogły być zautomatyzowane.

„barierki” to tylko plasterki. mądrzejsze systemy omijają je. odłączenie? fantazja. nie odłączasz czegoś, co jest mądrzejsze od ciebie, to ono odłącza ciebie.

ryzyko wyginięcia nie wymaga nawet asi. bio wspomagane przez ai mogłoby dać jednemu złemu aktorowi narzędzia do szkód na skalę cywilizacji.

dynamika wyścigu jest zepsuta: gdy tylko asi zostanie włączone, nie ma znaczenia, kto to zbudował. obie strony przegrywają.

wezwanie romana: wstrzymaj asi. trzymaj wąską ai dla prawdziwych problemów. przestań gonić za systemami „boskimi”, których nie możemy dostosować ani kontrolować.