聽了這個以及Gavin的AI思考帖子。他似乎對預訓練擴展法則的有效性非常有信心，而我只是……不太確定？這個論點非常專注於計算能力的進步推動預訓練，但從定義上來說，為了擴展，數據也需要相應增加，對吧？ 既然我們都知道著名的Ilya關於預訓練數據的說法，我的問題當然是，這些數據來自哪裡？似乎人們在指向合成數據被反饋到預訓練的想法，但這個想法從來沒有讓我感到舒適。 我一直有這種直覺，認為一個模型創建自己的數據來進行預訓練應該會導致一個無法進步的混亂的烏羅波洛斯系統。它在孤立中學習，沒有接觸到來自不同創作者的新數據。但是，我實際上還沒有閱讀任何關於在自生成的協同數據上進行預訓練模型的好處或限制的論文。 還有其他人有這種想法和/或研究可以指向嗎？並且會特別指出這是針對預訓練，而不是SFT、後訓練等。