机器学习研究人员刚刚构建了一种新的集成技术。 它的表现超越了XGBoost、CatBoost和LightGBM。 多年来，梯度提升一直是表格学习的首选。但现在不再是了。 TabM是一种参数高效的集成方法，给你带来： - MLP的速度 - GBDT的准确性 它的工作原理如下： 在表格机器学习中，我们一直必须在速度和准确性之间做出选择。MLP速度快但表现不佳。深度集成准确但臃肿。变压器强大但对大多数表格来说不切实际。 TabM通过一个简单的见解解决了这个问题： （请在继续阅读时参考下面的图像） 它不是训练32个独立的MLP，而是使用一个共享模型和一个轻量级适配器。这一小的调整让你在不需要训练多个网络的情况下享受集成的好处。 结果： 在15个以上的模型和46个数据集上，TabM平均排名1.7，领先于XGBoost、CatBoost和LightGBM。尽管训练成本更高，像FT Transformer和SAINT这样的复杂模型排名却低得多。 我在下一条推文中分享了研究论文和基准测试。

研究论文 →