Wolframの優れた著書『What is ChatGPT Doing...』をお読みください。(感謝@danielrock) 彼は、GPT3がわずか1750億の重みでそれを非常にうまく模倣できることから、言語の仕組みについて多くを学んだと書いています。これは計算的に私たちが思っていたよりもずっと単純であることを意味しています。では、数学はどうでしょうか? この作品が書かれた当時(2023年)、GPTはまだ数学が苦手でした。最初の推論モデル(o1)が登場したとき、モデルは力加学習に大きく依存する形で数学がとても(非常に)優れました。 これが数学について何を示しているのか気になりますね?概念的には、言語は数学よりもずっと「曖昧」です。文の同じ場所で複数の単語が「正しい」音に聞こえることがあります。これが確率的LLMアーキテクチャを機能させる理由です。数学はより曖昧です。おそらくこれが、より「ルールベース」な強化学習のステップが重要だった理由でしょう。 しかしこれは、形式数学が私たちが考えていたほど計算的に複雑でないことも示唆しています。感想。@littmath @alz_zyd_