🔥 To mění vše o umělé inteligenci s dlouhým kontextem. Nový dokument "Every Attention Matters" v tichosti přepracoval, jak transformátory zacházejí se 128K+ tokeny. Lingův tým vytvořil hybridní "prstencovou" pozornost, která spojuje Softmax s lineární pozorností. Výsledek? 10x levnější inference s nulovým kompromisem přesnosti. Ale tady je to, co mi spadla čelist: +50 % k efektivitě tréninku +90% k rychlosti odvozování Stabilní optimalizace RL napříč ultra dlouhými sekvencemi Žádné nesmysly s bilionovými parametry. Žádný exotický hardware. Prostě chytřejší architektura. Budoucnosti umělé inteligence není věnována větší pozornost. Je to chytřejší pozornost.