Biografia mea spune că lucrez la pregătirea pentru AGI, așa că vreau să clarific: Nu suntem pregătiți. În ultimul an, evaluările periculoase ale capabilităților au ajuns într-o stare în care este dificil să găsești un benchmark Q&A pe care modelele să nu îl satureze. Munca a trebuit să se orienteze spre măsuri mult mai directe (sondaje rapide ale cercetătorilor despre utilizarea în lumea reală), fie mult mai consumatoare de capital și timp (studii randomizate controlate "uplift"). În linii mari, devine o exagerare să excluzi orice model de amenințare folosind benchmark-uri Q&A ca proxy. Toată lumea experimentează metode noi pentru a detecta când se depășesc praguri semnificative de capacitate, dar apa ar putea fierbe înainte să putem introduce termometrul. Situația este similară pentru benchmark-urile agenților: capacitatea noastră de a măsura capacitatea scade rapid în urmă față de ritmul capacității în sine (uitați-vă la intervalele de încredere din măsurătorile orizontului de timp ale METR), deși acestea nu s-au saturat încă. Și ce se întâmplă dacă recunoaștem că este dificil să "excludem" aceste riscuri? Societatea așteaptă să acționeze până când îi putem "conduce" arătând că sunt clar realizabili de la un capăt la altul? Mai mult, ce ar însemna "a acționa" dacă decidem că riscul este iminent și real? Fiecare dezvoltator american se confruntă cu problema că, dacă oprește unilateral dezvoltarea sau chiar implementează pur și simplu măsuri costisitoare, are motive să creadă că un competitor mai puțin precaut nu va lua aceleași măsuri și, în schimb, va beneficia. Din perspectiva unei companii private, nu este clar că luarea unor măsuri drastice pentru a reduce riscul unilateral (cum ar fi oprirea completă a dezvoltării unor modele mai avansate) realizează ceva productiv, decât dacă există o șansă bună ca guvernul să intervină sau acțiunea să fie aproape universală. Și chiar dacă guvernul SUA ajută la rezolvarea problemei acțiunii colective (dacă într-adevăr *este* o problemă de acțiune colectivă) în SUA, ce se întâmplă cu companiile chineze? Cel puțin, cred că dezvoltatorii trebuie să continue să adune dovezi despre proprietăți riscante și destabilizatoare ale modelelor (chimie-biologie, cibernetică, auto-îmbunătățire recursivă, lingușitor) și să raporteze aceste informații public, astfel încât restul societății să poată vedea în ce lume ne îndreptăm și să decidă cum vrea să reacționeze. Restul societății, precum și companiile însele, ar trebui, de asemenea, să depună mai mult efort gândindu-se creativ despre cum să folosească tehnologia pentru a întări societatea împotriva riscurilor pe care le-ar putea reprezenta AI. Este greu și nu știu răspunsurile corecte. Impresia mea este că nici companiile care dezvoltă AI nu știu răspunsurile corecte. Deși este posibil ca un individ sau o specie să nu înțeleagă cum îi va afecta o experiență și totuși să "fie pregătit" pentru experiență, în sensul că a construit uneltele și experiența necesare pentru a răspunde eficient, nu sunt sigur că aceasta este situația în care ne aflăm. Sper să găsim răspunsuri mai bune curând.