ML-forskere har nettopp utviklet en ny ensembleteknikk. Den overgår XGBoost, CatBoost og LightGBM. I mange år har gradient boosting vært det foretrukne verktøyet for tabelllæring. Ikke lenger. TabM er et parameter-effektivt ensemble som gir deg: - Hastigheten til en MLP - Nøyaktigheten til GBDT Slik fungerer det: I tabulær ML har vi alltid måttet velge mellom fart og nøyaktighet. MLP-er er raske, men presterer dårligere. Dype antrekk er nøyaktige, men oppblåste. Transformatorer er kraftige, men upraktiske for de fleste bord. TabM løser dette med en enkel innsikt: (se bildet nedenfor når du leser videre) I stedet for å trene 32 separate MLP-er, bruker den én delt modell med en lettvektsadapter. Denne lille justeringen gir deg fordelene ved å samle uten kostnaden ved å trene flere nettverk. Resultatene: Mot 15+ modeller og 46 datasett rangerte TabM i gjennomsnitt 1,7 – foran XGBoost, CatBoost og LightGBM. Komplekse modeller som FT Transformer og SAINT rangerte mye lavere til tross for at de var dyrere å trene. Jeg har delt forskningsartikkelen og benchmarkene i neste tweet.

Forskningsartikkel →