MLの研究者たちは新しいアンサンブル手法を開発しました。 XGBoost、CatBoost、LightGBMを上回っています。 長年にわたり、グラデーションブースティングは表形式学習の定番でした。もうこれ以上。 TabMはパラメータ効率の高いアンサンブルで、以下のようなものを提供します。 - MLPの速度 - GBDTの精度 仕組みは以下の通りです: 表形式のMLでは、常に速度と正確さのどちらかを選ばなければなりませんでした。MLPは速いですが、パフォーマンスが劣ります。深いアンサンブルは正確ですが膨れ上がっています。トランスは強力ですが、ほとんどのテーブルには実用的ではありません。 TabMはこれをシンプルな洞察で解決しています: (以下は画像を参照しながらご覧ください) 32台の別々のMLPを訓練する代わりに、軽量アダプターを組み合わせた1つの共通モデルを使用します。この小さな調整により、複数のネットワークをトレーニングするコストなしでアンサンブルの利点が得られます。 結果は以下の通りです: 15+モデルと46のデータセットに対して、TabMは平均1.7位にランクされ、XGBoost、CatBoost、LightGBMを上回っています。FTトランスフォーマーやSAINTのような複雑なモデルは、訓練コストが高いにもかかわらず、はるかに低い順位でした。 研究論文とベンチマークは次のツイートで共有しました。

研究論文→