Багато людей спантеличені нещодавнім поверненням Minimax до повної уваги — особливо з огляду на те, що це був перший великомасштабний поворот до гібридної лінійної уваги — і пізнішим прийняттям Kimi гібридних лінійних варіантів (а також більш ранніми спробами Qwen3-Next, або Qwen3.5). Я насправді ціную відкритість Minimax тут: вони визнали проблеми та жаль від уваги гібридного лінійного або ковзного вікна до завдань міркування з кількома стрибками, про що не багато лабораторій сказали б вголос. Тим не менш, «жаль» може бути не таким поганим, як здається. Minimax використовував дуже простий варіант лінійної уваги (в основному через недостатню оцінку на той час), тому розрив у продуктивності, ймовірно, був перебільшений. Стратегія постійного попереднього тренування (тобто перемикання з глобальної уваги на гібридну увагу з розсувним вікном) також здавалася досить неоптимальною. І afaik, гібридна лінійна увага все ще може дуже сильно працювати майже на всіх тестах, крім міркувань з кількома стрибками. Якщо падіння продуктивності при багатострибкових міркуваннях може бути достатньо малим, щоб обмінюватися на кращу ефективність висновків та ефективність даних, гібридна лінійна увага все ще має багато можливостей для зростання. Кращі шари лінійної складності все ще варто вивчити, особливо з покращенням інфраструктури від таких фреймворків, як vLLM та SGLang. Зрештою, ми не хочемо, щоб наші агентні моделі були назавжди обмежені довжиною контексту – це обмеження, яке нам рано чи пізно доведеться подолати