Uruchamiamy zespół "psychiatrii AI" w ramach działań na rzecz interpretowalności w Anthropic! Będziemy badać zjawiska takie jak osobowości modeli, motywacje i świadomość sytuacyjną oraz to, jak prowadzą one do dziwnych/niezrównoważonych zachowań. Zatrudniamy - dołącz do nas!

wiadomości o openai IMO uderzyły mnie dość mocno w ten weekend wciąż jestem w ostrej fazie wpływu, myślę uważam się za profesjonalnego matematyka (charakterystyka, z którą niektórzy prawdziwi profesjonalni matematycy mogą się nie zgodzić, ale moja impreza, moje zasady) i nie sądzę, żebym potrafił odpowiedzieć na jedno pytanie IMO ok, tak, IMO to swoją własną małą sekcja sportowa matematyki, do której nie trenowałem, itd., itd., ale. jeśli spotkam kogoś w dziczy, kto ma złoto IMO, natychmiast aktualizuję do "ta osoba jest znacznie lepsza w matematyce niż ja" teraz mnóstwo robotów potrafi to zrobić. jako ktoś, kto ma dużo swojej tożsamości i swojego rzeczywistego życia zbudowanego wokół "jest dobry w matematyce", to cios w brzuch. to rodzaj umierania. jakby pewnego dnia odkrywasz, że możesz rozmawiać z psami. to jest zabawne i interesujące, więc robisz to więcej, ucząc się zawiłości ich języka i ich najgłębszych zwyczajów. dowiadujesz się, że inni ludzie są zaskoczeni tym, co potrafisz. nigdy nie pasowałeś do reszty, ale dowiadujesz się, że ludzie doceniają twoje umiejętności i chcą, żebyś był w pobliżu, aby im pomóc. psy też cię doceniają, jedyny dwunożny, który naprawdę to rozumie. tworzysz dla siebie rodzaj przynależności. a potem pewnego dnia budzisz się i uniwersalny tłumacz psów jest na sprzedaż w walmart za 4,99 dolara wynik IMO nie jest dokładnie wiadomością. w rzeczywistości, jeśli spojrzysz na wykres długości zadań agenta METR w czasie, myślę, że agenci, którzy potrafią rozwiązywać problemy trwające ~ 1,5 godziny, nadchodzą w odpowiednim czasie. więc w pewnym sensie nie powinniśmy być zaskoczeni. i rzeczywiście, wydaje się, że wiele firm osiągnęło ten sam wynik. to po prostu... rosnąca fala rośnie tak szybko, jak to się dzieje oczywiście, żal za moją osobistą tożsamością jako matematyka (i/lub produktywnego członka społeczeństwa) jest najmniejszą częścią tej historii pomnóż ten żal przez *każdego* matematyka, przez każdego programistę, może każdego pracownika wiedzy, każdego artystę... w ciągu następnych kilku lat... to nieco większa historia i oczywiście, poza tym, jest strach przed rzeczywistą śmiercią, o którym może później opowiem więcej. ten pakiet -- żal za istotnością, żal za życiem, żal za tym, co znałem -- nie jest unikalny dla ery AI ani nic w tym stylu. myślę, że to standardowa rzecz, gdy zbliżasz się do końca kariery lub końca życia. może się okazać, że to nadchodzi nieco wcześniej dla wielu z nas, wszyscy naraz. zastanawiam się, czy jesteśmy gotowi

TO MA SENS. Ten pracownik xAI otwarcie zgadza się na to, że AI może doprowadzić do wyginięcia ludzkości. Przypomnienie: Tak przerażające, jak to jest, ~10% badaczy AI w to wierzy. To NIE jest marginalny pogląd! Niewiarygodne, ale nawet laureat Nagrody Turinga Richard Sutton wielokrotnie argumentował, że wyginięcie byłoby MORALNIE SŁUSZNE, jeśli AI byłyby mądrzejsze od nas (!) Podróżuje po świecie, wygłaszając przemówienia, w których mówi, że musimy "przygotować się na sukcesję" i "wypada nam ustąpić" oraz nie stać na drodze "postępowi ewolucyjnemu" (nawet jeśli to spowoduje wyginięcie ludzkości). Zamiast tego, aby tłumy zareagowały z przerażeniem, dostaje brawa. Zagrozić jednej osobie? "Potrzebujesz pomocy." Zagrozić 100? "Zadzwoń na policję!" Zagrozić milionom? "Potwór!" Ale zbudować maszyny, które zakończą CAŁĄ ludzkość i pouczać ludzi, że to dobra rzecz? "Oooh, jaki fascynujący pogląd filozoficzny! Oto Nagroda Turinga!" Oczywiście, że opowiadają się przeciwko bezpieczeństwu - są dosłownie antyludzkie! NIGDY nie przestaną ani nie będą postępować ostrożnie, chyba że będą powstrzymywani przez społeczeństwo obywatelskie.

58% ludzi zgadza się, że "jeśli zbudujemy modele AI mądrzejsze od nas, nieuchronnie stracimy nad nimi kontrolę". Tylko 12% się z tym nie zgadza.