Я только что прочитал довольно блестящее эссе от @tainab. Оно делает невероятно простую мысль (хотя оборачивает её в немного социальной теории, которую можно принять или оставить на усмотрение): существует один очень базовый способ, которым обучаются модели на основе данных.

предвзятость: они переоценивают красноречие так же, как анализ компаний в S и P 500 сегодня создает предвзятость выживания в ретроспективном техническом анализе или (иронично) существует антропная предвзятость при размышлении о возможных мирах. Отбор на основе токенов v

основываясь на ответах людей по образцам, многословный.

Большинство людей большую часть времени генерируют очень мало токенов.