我第一篇发表的学术论文是关于摩尔定律的,而现在人工智能的发展看起来也很相似:摩尔定律的指数增长并不是单一技术的结果,而是许多不同技术在几十年间的结合,这些技术在某一芯片制造方法遇到瓶颈时恰好成熟。该定律的规律性为一个不断变化的竞争者群体提供了协调功能,迫使他们创造出一个自我实现的持续能力增长的预言。 同样,人工智能的发展已经遇到了一些障碍,必须通过新的技术和研究来克服(合成数据方法、推理、新的强化学习应用等)。但除非你是内部人士(或在X上密切关注人工智能),否则你不会看到这些障碍:只会看到稳定的指数进展。 考虑到这个领域的资金和人才,我预计即使预训练或其他方法遇到瓶颈,我们也会看到整个行业迅速转向人们正在开发的许多其他方法之一或多个。你已经可以看到这一点:世界模型的研究、替代大型语言模型(LLMs)、新的训练方法等。甚至还有一些替代生态系统在押注小型、精细调优模型的崛起等。这些技术有些来自初创公司,有些则是在人工智能实验室内部开发的。 在X上的人们往往会深入细节,把人工智能当作一项运动,支持或反对不同的团队和方法。但在任何合理的时间跨度内,人工智能的发展在许多指标上对其他人来说可能看起来像是平滑的指数增长。