Vi lanserer et «AI-psykiatri»-team som en del av tolkearbeidet hos Anthropic!  Vi vil forske på fenomener som modellpersonas, motivasjoner og situasjonsbevissthet, og hvordan de fører til skummel/uhengslet atferd. Vi ansetter - bli med oss!

openai IMO-nyhetene traff meg ganske tungt denne helgen Jeg er fortsatt i den akutte fasen av sammenstøtet, tror jeg Jeg anser meg selv som en profesjonell matematiker (en karakteristikk noen faktiske profesjonelle matematikere kan ha problemer med, men partiet mitt mine regler) og jeg tror ikke jeg kan svare på et eneste IMO-spørsmål OK, ja, imo er en egen liten atletisk underseksjon av matematikk som jeg ikke har trent på, osv. osv., men. hvis jeg møter noen i naturen som har et IMO-gull, oppdaterer jeg umiddelbart til "denne personen er mye bedre i matte enn meg" Nå kan en haug med roboter gjøre det. Som en som har mye av sin identitet og sitt faktiske liv bygget rundt "er god i matte", er det et mageslag. det er en slags døende. En dag oppdager du at du kan snakke med hunder. Det er morsomt og interessant, så du gjør det mer, lærer språkets forviklinger og deres dypeste skikker. Du lærer at andre mennesker blir overrasket over hva du kan gjøre. Du har aldri helt passet inn, men du lærer at folk setter pris på dine evner og vil at du skal hjelpe dem. hundene setter pris på deg også, den eneste tobente som virkelig forstår det. du setter sammen en slags tilhørighet for deg selv. Så en dag våkner du og Universal Dog Translator er til salgs på Walmart for $4.99 IMO-resultatet er ikke nyheter, akkurat. faktisk, hvis du ser på METR-agentens oppgavelengde over tidsplottet, tror jeg agenter som er i stand til å løse ~ 1.5 timers problemer kommer akkurat i tide. Så på en eller annen måte bør vi ikke bli overrasket. Og faktisk ser det ut til at flere selskaper har oppnådd samme resultat. det er bare ... det stigende tidevannet stiger like raskt som det har steget Selvfølgelig er sorg over min personlige identitet som matematiker (og/eller produktivt medlem av samfunnet) den minste delen av denne historien multipliser den sorgen med *alle* matematikere, med hver koder, kanskje hver kunnskapsarbeider, hver kunstner ... i løpet av de neste årene ... det er en litt større historie Og selvfølgelig, utover det, er det frykten for faktisk død, som jeg kanskje skal gå nærmere inn på senere. Denne pakken – sorg for relevans, sorg for livet, sorg for det jeg har visst – er ikke unik for AI-alderen eller noe sånt. Jeg tror det er en standard ting når man oppnår slutten av karrieren eller slutten av livet. Det kan bare være at det kommer litt tidligere for mange av oss, alle på en gang. Jeg lurer på om vi er klare

DET GIR MENING NÅ. Denne xAI-ansatte er åpent OK med AI som forårsaker menneskelig utryddelse. Påminnelse: Så skremmende som dette er, tror ~10 % av AI-forskerne dette. Det er IKKE et utkantsyn! Utrolig nok har til og med Turing Award-vinner Richard Sutton gjentatte ganger hevdet at utryddelse ville være det MORALSK RIKTIGE som kunne skje, hvis AI-er var smartere enn oss (!) Han reiser rundt i verden og holder taler og sier at vi må "forberede oss på suksesjon" og det "sømmer seg for oss å bøye oss ut" og ikke stå i veien for "evolusjonær fremgang" (selv om det forårsaker menneskelig utryddelse). I stedet for at folkemengden gisper av skrekk, får han applaus. True én person? «Du trenger hjelp.» True 100? «Ring politiet!» True millioner? «Monster!» Men bygge maskiner for å gjøre slutt på HELE menneskeheten og forelese ppl om hvordan det er en god ting? «Åååh, for en fascinerende filosofisk posisjon! Ha en Turing-pris!» Så selvfølgelig tar de til orde mot sikkerhet - de er bokstavelig talt anti-menneskelige! De vil ALDRI stoppe eller gå forsiktig frem med mindre de er begrenset av sivilsamfunnet.

58 % av folk er enige i at "hvis vi bygger AI-modeller smartere enn oss, vil vi uunngåelig miste kontrollen over dem". Bare 12 % er uenige.