Модели ИИ становятся сильнее, но их уверенность все еще растет быстрее, чем их определенность. Большее количество параметров расширяет то, о чем может говорить система, а не то, что она действительно может проверить. Пространство возможных ответов растет быстрее, чем основание под этими ответами. Модель продолжает говорить свободно, даже когда она выходит за пределы того, что данные могут поддерживать. Галлюцинации продолжают существовать, потому что основное действие не изменилось. Модель все еще предсказывает следующий токен с высокой разрешающей способностью. Масштабирование делает догадки более плавными, а не более обоснованными. Когда модель отклоняется от тех частей мира, которые она действительно понимает, она продолжает с той же легкостью и ритмом. Язык становится более отточенным. Ошибки становятся труднее заметить. То, что улучшается, не является истиной. То, что улучшается, — это убеждение. Вот почему более сильные модели кажутся более точными, даже когда это не так. Ошибки выглядят как прозорливость, пока вы не изучите детали. Чем лучше модель формирует аргумент, тем легче забыть, что аргумент никогда не поддерживался источником истины с самого начала. Путь вперед — это создание систем вокруг модели, которые ограничивают отклонение. Извлечение для закрепления ответа. Обратные связи, чтобы сохранить честность. Ограждения, которые заставляют модель вернуться к тому, что действительно известно. Одна лишь мощь не уберет галлюцинации. Только обоснование сможет.