Hei @JeffDean, hva er planen for å frigi koden for denne arbeidslinjen? Ingen av disse avisene ser så langt ut til å ha gitt ut noen kode

Mange mennesker er forvirret over Minimax' nylige tilbakevending til full oppmerksomhet - spesielt siden det var den første storskala dreiningen mot hybrid lineær oppmerksomhet - og av Kimis senere adopsjon av hybride lineære varianter (så vel som tidligere forsøk fra Qwen3-Next, eller Qwen3.5). Jeg setter faktisk pris på Minimax sin åpenhet her: de innrømmet utfordringene og angrene ved hybrid lineær eller skyvevindusoppmerksomhet på multi-hop-resonneringsoppgaver, som ikke mange laboratorier ville si høyt. Når det er sagt, er "angeren" kanskje ikke så ille som de høres ut. Minimax brukte en veldig enkel lineær oppmerksomhetsvariant (hovedsakelig på grunn av utilstrekkelig evaluering på den tiden), så ytelsesgapet var sannsynligvis overdrevet. Den kontinuerlige pretraining-strategien (dvs. bytte fra global oppmerksomhet til hybrid skyvevindusoppmerksomhet) virket også ganske suboptimal. Og afaik, hybrid lineær oppmerksomhet kan fortsatt prestere veldig sterkt på nesten alle benchmarks bortsett fra multi-hop-resonnement. Hvis ytelsesfallet på multi-hop-resonnement kan holdes lite nok til å handle for bedre slutningseffektivitet og dataeffektivitet, har hybrid lineær oppmerksomhet fortsatt god plass til å vokse. Bedre lineære kompleksitetslag er fortsatt verdt å utforske, spesielt med forbedring av infrastruktur fra rammeverk som vLLM og SGLang. Tross alt vil vi ikke at våre agentiske modeller for alltid skal være begrenset av kontekstlengde - det er en begrensning vi må overvinne før eller siden