Sürgülü pencere dikkati (SWA), verimlilik için sınır hibrit modellerine güç veriyor. Daha iyi bir şey var mı? Kayar pencere dikkati (SWA) için daha hızlı ve daha kaliteli bir yedek parça olan Phalanx'ı tanıtıyoruz. Phalanx, veri yerelliğine ve doğrudan GPU'larla eşlenen pürüzlü, blok hizalı pencerelere odaklanarak tasarlanmış yeni bir donanım ve sayıya duyarlı pencereli katmanlar ailesidir. Eğitimde Phalanx, maliyetli çarpıtmalar arası iletişimi azaltarak optimize edilmiş SWA hibritleri ve Transformatörlere göre 4K–32K bağlam uzunluklarında %10–40 daha yüksek uçtan uca verim sağlar. Bugün, hem teknik raporu, bir blogu hem de araştırma çekirdeği kitaplığımız olan Spear'daki Phalanx çekirdeklerini yayınlıyoruz. İşe alıyoruz.