很高興能參加 PyTorchCon 的早晨主題演講。進行了很多有趣的討論： 強化學習是最有前景的前沿之一，因為它超越了模仿學習，學習目標而非示範，發現超越訓練數據的策略，而這是監督學習無法達到的，例如 o1 的新興推理痕跡。 但預訓練並沒有死去。像擴散模型這樣的架構突破用於編碼，以及 DeltaNet 改善聯想記憶性能，都是有前景的前沿。 我的哲學是支持那些在前沿創建的勇敢創始人，例如 Voyage AI 在企業 AI 搜索興起之前幾年就建立了向量嵌入。