GLMチームは今、MLAを使っています!!これはかなり狂ったモデルで、合計パラメータが30B、アクティブ約4Bです。とても良いリリースです 構造的にはGLM4.5の空気とQWEN3の30B A3Bとほぼ同じ深さで、エキスポストは合計64人で、共有エキスパートを含めると9人ではなく5人しかアクティブではありません