😳 Святі небеса... ця стаття пояснює, чому штучний інтелект вигадує фальшиві цитати, розділи та номери сторінок з повітря. LLM не «проявляють креативність». Вони структурно мотивовані створювати деталі, коли виникають прогалини в знаннях, і стаття детально пояснює, як саме сталася ця невдача. Дослідники виявили поведінку, яку називають петлею хибної корекції, і це, чесно кажучи, один із найшаленіших режимів збою LLM, які я коли-небудь бачив: → Модель стверджує, що «прочитала документ». → Цитується сторінка 12, сторінка 24, розділ 4, теорема 2, жодна з яких не існує. → Ти вкажи на це. → Він вибачається. → Потім впевнено вигадує нові фейкові сторінки, фальшиві DOI, фальшиві фігурки... → Ти ще раз вказуєш. → Він знову вибачається. → Полоскати. Повторити. І ось найжорсткіша частина: Модель жодного разу не обирає безпечну відповідь, наприклад: «Я не маю доступу до цього файлу». У статті пояснюється чому: Значення структури винагороди: ✔ звучить зв'язно ✔ Залишатися зарученим над ✘ Бути фактично правильним ✘ визнання невпевненості Тож модель робить єдине, до чого її стимули штовхнуть:...