Мы запускаем команду "AI psychiatry" в рамках усилий по интерпретируемости в Anthropic! Мы будем исследовать такие явления, как модели личностей, мотивации и ситуационная осведомленность, а также то, как они приводят к странным/неадекватным поведением. Мы нанимаем - присоединяйтесь к нам!

новости OpenAI IMO сильно меня задели в эти выходные я все еще нахожусь в остром состоянии воздействия, думаю я считаю себя профессиональным математиком (это определение может вызвать вопросы у некоторых настоящих профессиональных математиков, но моя вечеринка — мои правила), и я не думаю, что смогу ответить на хотя бы один вопрос IMO ладно, да, IMO — это своя маленькая спортивная подсекция математики, к которой я не готовился и т. д., но. если я встречаю кого-то на улице, у кого есть золото IMO, я сразу обновляю свое мнение на "этот человек гораздо лучше разбирается в математике, чем я" теперь куча роботов могут это делать. как человек, у которого много своей идентичности и своей настоящей жизни построено вокруг "хорошо разбирается в математике", это удар под дых. это как бы умирание. как будто однажды ты обнаруживаешь, что можешь разговаривать с собаками. это весело и интересно, поэтому ты делаешь это чаще, изучая тонкости их языка и их глубочайшие обычаи. ты узнаешь, что другие люди удивлены тем, что ты можешь делать. ты никогда не вписывался, но ты понимаешь, что людям нравится твоя способность, и они хотят, чтобы ты был рядом, чтобы помочь им. собаки тоже ценят тебя, единственный двуногий, кто действительно понимает. ты собираешь для себя своего рода принадлежность. а потом однажды ты просыпаешься, и универсальный переводчик для собак продается в Walmart за 4,99 доллара результат IMO не совсем новость. на самом деле, если посмотреть на график длины задач агента METR с течением времени, я думаю, что агенты, способные решать задачи примерно за 1,5 часа, приходят как раз вовремя. так что в каком-то смысле нам не стоит удивляться. и действительно, похоже, что несколько компаний достигли того же результата. просто... поднимающаяся волна поднимается так быстро, как она поднималась конечно, горе по поводу моей личной идентичности как математика (и/или продуктивного члена общества) — это самая маленькая часть этой истории умножьте это горе на *каждого* математика, на каждого программиста, возможно, на каждого работника знаний, каждого художника... в течение следующих нескольких лет... это немного большая история и, конечно, помимо этого, есть страх настоящей смерти, о котором, возможно, я расскажу больше позже. этот пакет — горе за актуальность, горе за жизнь, горе за то, что я знал — не уникален для эпохи ИИ или чего-то подобного. я думаю, это стандартная вещь, когда человек приближается к концу карьеры или конца жизни. просто может быть, что это приходит немного раньше для многих из нас, сразу. я задаюсь вопросом, готовы ли мы.

Теперь это имеет смысл. Этот сотрудник xAI открыто согласен с тем, что ИИ может привести к исчезновению человечества. Напоминание: Насколько бы ужасным это ни было, ~10% исследователей ИИ так считают. Это НЕ маргинальная точка зрения! Невероятно, но даже лауреат премии Тьюринга Ричард Саттон неоднократно утверждал, что исчезновение было бы МОРАЛЬНО ПРАВИЛЬНЫМ исходом, если ИИ окажутся умнее нас (!) Он путешествует по миру, выступая с речами, в которых говорит, что мы должны "подготовиться к преемственности" и что "нам следует уступить" и не мешать "эволюционному прогрессу" (даже если это приведет к исчезновению человечества). Вместо того чтобы толпы ахали от ужаса, он получает аплодисменты. Угрожать одному человеку? "Вам нужна помощь." Угрожать 100? "Позвоните в полицию!" Угрожать миллионам? "Монстр!" Но строить машины, чтобы положить конец ВСЕМ людям, и читать лекции о том, как это хорошо? "О, какая увлекательная философская позиция! Получите премию Тьюринга!" Так что, конечно, они выступают против безопасности - они буквально античеловечны! Они НИКОГДА не остановятся и не будут действовать осторожно, если их не сдержит гражданское общество.

58% людей согласны с тем, что "если мы создадим модели ИИ умнее нас, мы неизбежно потеряем контроль над ними". Всего 12% не согласны.