能夠在「緊縮預算」下訓練一個1T參數模型的真正收穫,不在於成本節省。 而是效率的提升,讓你能夠更快地行動並提高迭代速度。注意斜率。 自我有記憶以來,最好的深度學習模型來自於那些迭代速度最快的實驗室。