Subiecte populare
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Alibaba a livrat patru modele mici Qwen 3.5 cu un truc împrumutat de la modelul lor 397B: atenția hibridă Gated DeltaNet.
Trei straturi de atenție liniară pentru fiecare strat de atenție completă.
Straturile liniare gestionează calculele de rutină cu utilizare constantă a memoriei. Straturile de atenție completă se activează doar când precizia contează.
Acest raport 3:1 menține memoria plată, în timp ce calitatea rămâne ridicată, motiv pentru care chiar și modelul 0.8B suportă o fereastră de context cu 262.000 de tokenuri.
Fiecare model gestionează textul, imaginile și videoclipurile nativ.
Niciun adaptor montat după aceea. Encoderul de viziune folosește convoluții 3D pentru a captura mișcarea în video, apoi îmbină caracteristici din mai multe straturi, nu doar din cel final.
9B îl depășește pe GPT-5-Nano cu 13 puncte la înțelegerea multimodală, 17 puncte la matematică vizuală și 30 de puncte la analiza documentelor. Modelul 0.8B rulează pe un telefon și procesează video. 4B încape în 8GB VRAM și acționează ca un agent multimodal. Toate cele patru sunt Apache 2.0.
Dacă această arhitectură se menține, spațiul mic al modelelor a devenit pur și simplu o cursă a capabilităților, nu una de dimensiuni.
Acum un an, rularea unui model multimodal local însemna un model 13B+ și o placă video serioasă.
Acum, un model 4B cu context de 262K gestionează textul, imaginile și videoclipurile din hardware de consum.
Diferența dintre modelele edge și cele flagship se micșorează mai repede decât diferența dintre navele de top și oameni.
Limită superioară
Clasament
Favorite
