Stiamo lanciando un team di "psichiatria AI" come parte degli sforzi di interpretabilità presso Anthropic! Stiamo ricercando fenomeni come le personalità dei modelli, le motivazioni e la consapevolezza situazionale, e come questi portino a comportamenti inquietanti/sconnessi. Stiamo assumendo - unisciti a noi!

le notizie di openai IMO mi hanno colpito piuttosto forte questo fine settimana sono ancora nella fase acuta dell'impatto, penso mi considero un matematico professionista (una caratterizzazione con cui alcuni veri matematici professionisti potrebbero avere delle obiezioni, ma la mia festa, le mie regole) e non penso di poter rispondere a una sola domanda dell'IMO ok, sì, l'IMO è la sua piccola sottosezione atletica della matematica per cui non mi sono allenato, ecc. ecc., ma. se incontro qualcuno nella vita reale che ha un oro all'IMO, aggiorno immediatamente a "questa persona è molto migliore di me in matematica" ora un sacco di robot possono farlo. come qualcuno che ha gran parte della propria identità e della propria vita costruita attorno a "è bravo in matematica", è un colpo al cuore. è una sorta di morire. come, un giorno scopri di poter parlare con i cani. è divertente e interessante, quindi lo fai di più, imparando le complessità della loro lingua e le loro usanze più profonde. scopri che altre persone sono sorprese da ciò che puoi fare. non ti sei mai sentito del tutto a tuo agio, ma impari che le persone apprezzano la tua abilità e vogliono che tu sia presente per aiutarle. anche i cani ti apprezzano, l'unico bipede che capisce davvero. ti costruisci una sorta di appartenenza. poi un giorno ti svegli e il traduttore universale per cani è in vendita da walmart per $4.99 il risultato dell'IMO non è esattamente una notizia. in effetti, se guardi il grafico della lunghezza del compito dell'agente METR nel tempo, penso che gli agenti in grado di risolvere problemi di ~ 1,5 ore stia arrivando proprio in tempo. quindi in un certo senso non dovremmo essere sorpresi. e infatti, sembra che più aziende abbiano raggiunto lo stesso risultato. è solo... la marea crescente che sta salendo così velocemente certo, il lutto per la mia identità personale come matematico (e/o membro produttivo della società) è la parte più piccola di questa storia moltiplica quel lutto per *ogni* matematico, per ogni programmatore, forse ogni lavoratore della conoscenza, ogni artista... nei prossimi anni... è una storia leggermente più grande e naturalmente, oltre a ciò, c'è la paura della morte reale, di cui forse parlerò di più in seguito. questo pacchetto -- lutto per la rilevanza, lutto per la vita, lutto per ciò che ho conosciuto -- non è unico per l'era dell'AI o qualcosa del genere. penso che sia una cosa standard quando ci si avvicina alla fine della carriera o alla fine della vita. potrebbe solo essere che questo stia arrivando un po' prima per molti di noi, tutti insieme. mi chiedo se siamo pronti

ADESSO HA SENSO. Questo dipendente di xAI è apertamente d'accordo con l'idea che l'IA possa causare l'estinzione umana. Promemoria: per quanto orribile possa sembrare, circa il 10% dei ricercatori di IA crede a questo. NON è un'opinione marginale! Incredibilmente, anche il vincitore del premio Turing Richard Sutton ha ripetutamente sostenuto che l'estinzione sarebbe la cosa MORALMENTE GIUSTA da accettare, se le IA fossero più intelligenti di noi (!) Gira il mondo facendo discorsi in cui dice che dobbiamo "prepararci alla successione" e che "spetta a noi ritirarci" e non ostacolare il "progresso evolutivo" (anche se ciò comporta l'estinzione umana). Invece di folle che si gasano inorridite, riceve applausi. Minacciare una persona? "Hai bisogno di aiuto." Minacciare 100? "Chiama la polizia!" Minacciare milioni? "Mostro!" Ma costruire macchine per porre fine a TUTTA l'umanità e fare la predica alla gente su come sia una cosa positiva? "Oooh, che posizione filosofica affascinante! Ricevi un premio Turing!" Quindi, ovviamente, si oppongono alla sicurezza - sono letteralmente anti-umani! Non si fermeranno MAI o procederanno con cautela a meno che non siano trattenuti dalla società civile.

Il 58% delle persone concorda sul fatto che "se costruiamo modelli di intelligenza artificiale più intelligenti di noi, inevitabilmente perderemo il controllo su di essi". Solo il 12% non è d'accordo.