Estamos lançando uma equipe de "psiquiatria de IA" como parte dos esforços de interpretabilidade da Anthropic!  Estaremos pesquisando fenômenos como personas de modelo, motivações e consciência situacional, e como eles levam a comportamentos assustadores / desequilibrados. Estamos contratando - junte-se a nós!

as notícias da openai IMO me atingiram muito forte neste fim de semana Ainda estou na fase aguda do impacto, acho que Eu me considero um matemático profissional (uma caracterização com a qual alguns matemáticos profissionais reais podem discordar, mas meu partido minhas regras) e não acho que posso responder a uma única pergunta IMO OK, sim, IMO é sua própria pequena subseção atlética de matemática para a qual eu não treinei, etc. etc., mas. se eu encontrar alguém na natureza que tenha um ouro IMO, eu imediatamente atualizo para "essa pessoa é muito melhor em matemática do que eu" Agora um bando de robôs pode fazer isso. Como alguém que tem muito de sua identidade e sua vida real construída em torno de "é bom em matemática", é um soco no estômago. é uma espécie de morte. Tipo, um dia você descobre que pode falar com cachorros. É divertido e interessante, então você faz mais, aprendendo os meandros de sua língua e seus costumes mais profundos. Você aprende que outras pessoas estão surpresas com o que você pode fazer. Você nunca se encaixou, mas aprende que as pessoas apreciam sua capacidade e querem que você as ajude. Os cães também apreciam você, o único bípede que realmente entende. você monta para si mesmo uma espécie de pertencimento. Então, um dia, você acorda e o tradutor universal para cães está à venda no Walmart por US $ 4,99 o resultado da IMO não é exatamente novidade. na verdade, se você olhar para o gráfico de duração da tarefa do agente METR ao longo do tempo, acho que os agentes sendo capazes de resolver problemas de ~ 1,5 hora estão chegando na hora certa. Então, de alguma forma, não devemos nos surpreender. E, de fato, parece que várias empresas alcançaram o mesmo resultado. é só ... a maré subindo tão rápido quanto tem subido Claro, o luto pela minha identidade pessoal como matemático (e / ou membro produtivo da sociedade) é a menor parte dessa história multiplique essa dor por *todos* matemáticos, por todos os programadores, talvez todos os trabalhadores do conhecimento, todos os artistas... nos próximos anos... é uma história um pouco maior E, claro, além disso, há o medo da morte real, que talvez eu fale mais tarde. Este pacote - luto pela relevância, luto pela vida, luto pelo que eu conheci - não é exclusivo da era da IA ou algo assim. Eu acho que é uma coisa padrão, pois se chega ao fim da carreira ou ao fim da vida. Pode ser que isso esteja chegando um pouco mais cedo para muitos de nós, de uma só vez. Eu me pergunto se estamos prontos

FAZ SENTIDO AGORA. Este funcionário da xAI está abertamente bem com a IA causando extinção humana. Lembrete: Por mais horrível que seja, ~ 10% dos pesquisadores de IA acreditam nisso. NÃO é uma visão marginal! Inacreditavelmente, até mesmo o vencedor do Prêmio Turing, Richard Sutton, argumentou repetidamente que a extinção seria a coisa MORALMENTE CERTA a acontecer, se as IAs fossem mais inteligentes do que nós (!) Ele dá a volta ao mundo fazendo discursos dizendo que devemos "nos preparar para a sucessão" e "cabe a nós nos retirarmos" e não atrapalhar o "progresso evolutivo" (mesmo que isso cause a extinção humana). Em vez de multidões ofegantes de horror, ele recebe aplausos. Ameaçar uma pessoa? "Você precisa de ajuda." Ameaçar 100? "Chame a polícia!" Ameaçar milhões? "Monstro!" Mas construir máquinas para acabar com TODA a humanidade e dar palestras sobre como isso é uma coisa boa? "Oooh, que posição filosófica fascinante! Tenha um prêmio Turing!" Então, é claro que eles defendem contra a segurança - eles são literalmente anti-humanos! Eles NUNCA vão parar ou prosseguir com cautela, a menos que sejam contidos pela sociedade civil.

58% das pessoas concordam que "se construirmos modelos de IA mais inteligentes do que nós, inevitavelmente perderemos o controle sobre eles". Apenas 12% discordam.