Conform benchmark-urilor, Qwen3.5 4B este la fel de bun ca GPT 4o. GPT 40 a apărut acum ~2 ani (mai 2024). Qwen 3.5 4B rulează ușor pe dispozitive mobile moderne. Astfel, diferența dintre inteligența de frontieră într-un centru de date și rularea unui model de aceeași calitate pe iPhone-ul tău ar putea fi de 2-3 ani. (Probabil mai aproape de 3, presupunând că Qwen3.5 4B este mai mult benchmaxed decât 4o) Nu mă aștept ca tendința de creștere a inteligenței pe watt să se schimbe. Așadar, în 2-3 ani este plauzibil să rulăm modele de calitate GPT 5.x pe un iPhone. Destul de sălbatic.

@martinald nu am făcut încă calculul (aș fi foarte curios să-l văd). Dar aș paria că ai putea face ca >100k context să funcționeze pe un telefon cu 10GB cu cuantizare cache KV.

Oricine îmi spune contextul este problema. Este limitat, dar nu de netrecut. Qwen 3.5 este un model hibrid. Are 8 straturi globale de atenție (cap dim=128, capete cheie/valoare=4). Să presupunem cuantificarea cache-ului KV pe 8 biți (fără pierdere de calitate). Cu 2GB poți încăpea ~65k lungime de context. Un început bun. O să fie mai bine.

Oricine îmi spune contextul este problema. Este limitat, dar nu de netrecut. Qwen 3.5 este un model hibrid. Are 8 straturi globale de atenție (cap dim=256, capete cheie/valoare=4). Să presupunem cuantificarea cache-ului KV pe 8 biți (fără pierdere de calitate). Cu 2GB poți încăpea ~65k lungime de context. Un început bun. O să fie mai bine.

@simonw (Am verificat unele rezultate și, din câte pot spune, sunt corecte)

Sunt multe comentarii că acest model este benchmaxxat / evaluări scurse / nu la fel de bun ca 4o. Ar fi bine dacă cineva ar face o analiză riguroasă folosind niște repere ideal ascunse și diverse. Cu ce model frontier este comparabil Qwen 3.5 4B? Care este o estimare rezonabilă pentru timpul de la frontieră la margine? Până acum nu văd nicio dovadă că ar fi mai mult de 3 ani, și foarte probabil undeva în jur de 2-4 ani.