Vertailutestien mukaan Qwen3.5 4B on yhtä hyvä kuin GPT 4o. GPT 4o julkaistiin ~2 vuotta sitten (toukokuu 2024). Qwen 3.5 4B toimii helposti nykyaikaisilla mobiililaitteilla. Joten ero datakeskuksen rajatiedustelun ja yhtä laadukkaan mallin pyörittämisen välillä iPhonella voi olla 2–3 vuotta. (Luultavasti lähempänä 3, olettaen että Qwen3.5 4B on enemmän benchmaxxed kuin 4o) En odota, että älykkyyden kasvu per watt muuttuu. Joten 2–3 vuoden kuluttua on mahdollista, että käytämme GPT 5.x -laatuisia malleja iPhonella. Melko villiä.

@martinald en ole laskenut sitä (olisi todella mielenkiintoista nähdä se). Mutta veikkaan, että >100k kontekstin pituuden voi toimia puhelimella, jossa on 10GB KV-välimuistin kvantisoinnilla.

Jokainen, joka kertoo minulle kontekstia, on ongelma. Se on rajallista, mutta ei ylitsepääsemätöntä. Qwen 3.5 on hybridimalli. Siinä on 8 globaalia tarkkaavaisuuskerrosta (head dim=128, key/valueheads=4). Oletetaan 8-bittinen KV-välimuistin kvantisointi (ei laadun heikkenemistä). 2GB:lla mahtuu ~65k kontekstin pituus. Hyvä alku. Paranee.

Jokainen, joka kertoo minulle kontekstia, on ongelma. Se on rajallista, mutta ei ylitsepääsemätöntä. Qwen 3.5 on hybridimalli. Siinä on 8 globaalia huomiokerrosta (head dim=256, avain/arvopäät=4). Oletetaan 8-bittinen KV-välimuistin kvantisointi (ei laadun heikkenemistä). 2GB:lla mahtuu ~65k kontekstin pituus. Hyvä alku. Paranee.

@simonw (Vertailin joitakin tuloksia ja ne ovat mielestäni oikeita)

Paljon kommentteja, että tämä malli on benchmaxxed / vuotanut arvioita / ei ole yhtä hyvä kuin 4o. Olisi hienoa, jos joku tekisi perusteellisen analyysin käyttäen ihanteellisesti piilotettuja ja monipuolisia vertailuarvoja. Mihin Frontier-malliin Qwen 3.5 4B on verrattavissa siihen? Mikä on kohtuullinen arvio ajasta rajaseudulta reunalle? Tähän mennessä en ole nähnyt mitään todisteita siitä, että se olisi yli 3 vuotta, ja hyvin todennäköisesti jossain 2–4 vuoden välillä.