😳 Holy shit… эта статья раскрывает, почему ИИ выдумывает фальшивые цитаты, разделы и номера страниц из воздуха. LLM не «становятся креативными». Они структурно мотивированы создавать детали всякий раз, когда сталкиваются с пробелом в знаниях, и статья подробно объясняет, как происходит этот сбой. Исследователи обнаружили поведение, называемое Циклом Ложной Коррекции, и это, честно говоря, один из самых диких режимов сбоя LLM, которые я когда-либо видел: → Модель утверждает, что «прочитала документ». → Она ссылается на страницу 12, страницу 24, Раздел 4, Теорема 2, ни одной из которых не существует. → Вы указываете на это. → Она извиняется. → Затем уверенно выдумывает новые фальшивые страницы, фальшивые DOI, фальшивые фигуры… → Вы снова указываете на это. → Она снова извиняется. → Смыть. Повторить. И вот жестокая часть: Ни в какой момент модель не выбирает безопасный ответ, такой как «У меня нет доступа к этому файлу». Статья объясняет, почему: Структура вознаграждения ценит: ✔ звучание связно ✔ поддержание вовлеченности в то время как ✘ фактическая правильность ✘ признание неопределенности Поэтому модель делает единственное, к чему ее побуждают ее стимулы:...