8Bや70Bの「創発的特性」というくだらないことに執着するのはやめましょう。目にするもののほとんどは測定のノイズやベンチマークの不正行為です。 私はずっと、澤遠・アレン・ジューはLLMの中で最も厳密な「物理学」を行っていると言ってきました。私のブログでも述べたように、建築に関する学術的な議論の多くは、変数制御に失敗しているため、単なるカーゴカルト(貨物文化)に過ぎません。 Zeyuanの新しいチュートリアルは、1億モデルが1Tトークンの8Bモデルよりも多くのアーキテクチャ的真実を明らかにできることを証明しています。もしこれを理解していないなら、あなたはただ高価なレゴで暗闇の中で遊んでいるだけです。 業界はついに目を覚まし始めています。「物理法則」を理解しずにスケールアップするのは、ただの金持ちのギャンブルに過ぎません。