听了这个以及加文的人工智能思考帖子。他似乎对预训练规模法则的有效性非常有信心，而我只是……不太确定？这个论点非常集中于计算能力的进步推动预训练，但从定义上讲，必须有相应的数据增加才能扩展，对吧？ 既然我们都知道著名的伊利亚关于预训练数据的论述，我的问题当然是，这些数据来自哪里？似乎人们在指向合成数据被反馈到预训练的想法，但这个想法从来没有让我觉得合适。 我一直有一种直觉，模型自己生成数据进行预训练应该会导致一个混乱的自我循环系统，无法进步。它是在孤立中学习，没有接触到来自不同创作者的新数据。但是，我实际上没有读过任何关于在自生成协同数据上预训练模型的好处或局限性的论文。 还有其他人有这个想法和/或研究可以指向吗？并且我特别指出这是针对预训练，而不是SFT、后训练等。