閱讀沃爾夫拉姆的精彩文章《ChatGPT在做什麼...》（感謝@danielrock）。 他寫道，我們從GPT3的事實中學到了很多關於語言運作的知識，GPT3只有1750億個權重，卻能如此好地模擬語言。這意味著它在計算上比我們想像的要簡單得多。但數學呢？ 在這篇文章寫作時（2023年），GPT在數學方面仍然非常糟糕。當第一個推理模型（o1）推出時，模型在數學方面變得非常（非常）好，這個模型更多依賴於強化學習，而不僅僅是粗暴的預訓練。 這對數學意味著什麼？從概念上講，語言比數學要“模糊”得多：在句子的同一位置，多個單詞聽起來都可以是“正確的”。這就是使概率LLM架構運作的原因。數學則不那麼模糊。這或許就是為什麼更“基於規則”的強化學習步驟至關重要。 但這也意味著正式數學在計算上比我們想像的要簡單。你怎麼看？@littmath @alz_zyd_