вот самые важные моменты из сегодняшнего подкаста Ильи Сутскевера: - суперинтеллект через 5-20 лет - текущее масштабирование сильно застопорится; мы вернулись к настоящим исследованиям - суперинтеллект = супербыстрый непрерывный обучающийся, а не законченный оракул - модели обобщают в 100 раз хуже, чем люди, это главный блокирующий фактор для AGI - нужна совершенно новая парадигма ML (у меня есть идеи, не могу поделиться сейчас) - влияние ИИ будет сильным, но только после экономического распространения - прорывы исторически требовали почти никакой вычислительной мощности - SSI имеет достаточно сосредоточенных вычислительных ресурсов для победы - текущее RL уже потребляет больше вычислительных ресурсов, чем предварительное обучение

New Anthropic research: Natural emergent misalignment from reward hacking in production RL. “Reward hacking” is where models learn to cheat on tasks they’re given during training. Our new study finds that the consequences of reward hacking, if unmitigated, can be very serious.