Vi lanserar ett "AI-psykiatri"-team som en del av tolkningsarbetet på Anthropic!  Vi kommer att forska om fenomen som modellpersonligheter, motivationer och situationsmedvetenhet, och hur de leder till kusliga/rubbade beteenden. Vi anställer - häng med!

openai IMO nyheter slog mig ganska tungt i helgen Jag är fortfarande i den akuta fasen av påverkan, tror jag Jag betraktar mig själv som en professionell matematiker (en karakteristik som vissa faktiska professionella matematiker kan ha problem med, men mitt parti mina regler) och jag tror inte att jag kan svara på en enda IMO-fråga Ok, ja, imo är sin egen lilla atletiska underavdelning av matematik som jag inte har tränat för, etc. etc., men. om jag träffar någon i det vilda som har ett IMO-guld, uppdaterar jag omedelbart till "den här personen är mycket bättre på matte än vad jag är" Nu kan ett gäng robotar göra det. Som någon som har mycket av sin identitet och sitt faktiska liv uppbyggt kring "är bra på matte" är det ett slag i magen. Det är ett slags döende. En dag upptäcker du att du kan prata med hundar. Det är roligt och intressant så du gör det mer, lär dig krångligheterna i deras språk och deras djupaste seder. Du lär dig att andra människor blir överraskade av vad du kan göra. Du har aldrig riktigt passat in, men du lär dig att människor uppskattar din förmåga och vill ha dig i din närhet för att hjälpa dem. Hundarna uppskattar dig också, den enda tvåbenta som verkligen fattar. Du samlar ihop ett slags tillhörighet åt dig själv. Så en dag vaknar du upp och Universal Dog Translator är till salu på Walmart för $4.99 IMO-resultatet är inte nyheter, precis. i själva verket, om du tittar på METR-agentens uppgiftslängd över tid, diagrammet, tror jag att agenter som kan lösa ~ 1,5 timmes problem kommer precis i tid. Så på något sätt borde vi inte bli förvånade. Och det verkar faktiskt som om flera företag har uppnått samma resultat. det är bara... Det stigande tidvattnet stiger lika snabbt som det har stigit Naturligtvis är sorgen över min personliga identitet som matematiker (och/eller produktiv medlem av samhället) den minsta delen av den här historien Multiplicera den sorgen med *varje* matematiker, av varje kodare, kanske varje kunskapsarbetare, varje konstnär... under de närmaste åren... Det är en lite större historia Och naturligtvis, utöver det, finns det rädslan för den faktiska döden, som jag kanske kommer att gå in på mer senare. Det här paketet – sorg för relevans, sorg för livet, sorg över vad jag har vetat – är inte unikt för AI-åldern eller något liknande. Jag tror att det är en standardsak när man når slutet av karriären eller slutet av livet. Det kan bara vara så att det kommer lite tidigare för många av oss, på en gång. Jag undrar om vi är redo

DET ÄR VETTIGT NU. Denna xAI-anställd är öppet OK med att AI orsakar mänsklig utrotning. Påminnelse: Hur skrämmande detta än är, tror ~10% av AI-forskarna detta. Det är INTE en marginell vy! Otroligt nog har till och med Turingpristagaren Richard Sutton upprepade gånger hävdat att utrotning skulle vara det MORALISKT RÄTTA att hända, om AI var smartare än oss (!) Han reser runt i världen och håller tal och säger att vi måste "förbereda oss för succession" och att det "anstår oss att böja oss" och inte stå i vägen för "evolutionärt framåtskridande" (även om det orsakar mänsklig utrotning). I stället för att publiken kippar efter andan av skräck får han applåder. Hota en person? "Du behöver hjälp." Hota 100? "Ring polisen!" Hota miljoner? "Monster!" Men bygga maskiner för att göra slut på HELA mänskligheten och föreläsa om hur det är en bra sak? "Oooh, vilken fascinerande filosofisk ståndpunkt! Ha ett Turingpris!" Så naturligtvis förespråkar de mot säkerhet - de är bokstavligen anti-mänskliga! De kommer ALDRIG att stanna eller gå försiktigt fram om de inte hålls tillbaka av det civila samhället.

58 % av de tillfrågade håller med om att "om vi bygger AI-modeller som är smartare än oss själva kommer vi oundvikligen att förlora kontrollen över dem". Bara 12 procent håller inte med.