Laut Benchmarks ist Qwen3.5 4B so gut wie GPT 4o. GPT 4o kam vor etwa 2 Jahren (Mai 2024) heraus. Qwen 3.5 4B läuft problemlos auf modernen Mobilgeräten. Der Abstand zwischen der Spitzenintelligenz in einem Rechenzentrum und dem Ausführen eines Modells von gleicher Qualität auf deinem iPhone könnte 2-3 Jahre betragen. (Wahrscheinlich näher an 3, vorausgesetzt, Qwen3.5 4B ist besser optimiert als 4o) Ich erwarte nicht, dass sich der Trend der zunehmenden Intelligenz pro Watt ändert. In 2-3 Jahren ist es plausibel, dass wir Modelle in der Qualität von GPT 5.x auf einem iPhone ausführen werden. Ziemlich verrückt.

@martinald Ich habe die Berechnung nicht angestellt (ich wäre sehr neugierig, sie zu sehen). Aber ich würde wetten, dass du >100k Kontextlänge auf einem Telefon mit 10GB mit KV-Cache-Quantisierung zum Laufen bringen könntest.

Jeder, der mir sagt, dass der Kontext das Problem ist. Er ist begrenzt, aber nicht unüberwindbar. Qwen 3.5 ist ein hybrides Modell. Es hat 8 globale Aufmerksamkeitslayer (Kopfgröße=128, Schlüssel/Wert-Köpfe=4). Gehen wir von einer 8-Bit-KV-Cache-Quantisierung aus (kein Qualitätsverlust). Mit 2 GB können Sie eine Kontextlänge von ~65k unterbringen. Guter Anfang. Wird besser werden.

Jeder, der mir sagt, dass der Kontext das Problem ist. Er ist begrenzt, aber nicht unüberwindbar. Qwen 3.5 ist ein hybrides Modell. Es hat 8 globale Aufmerksamkeitslayer (Kopfgröße=256, Schlüssel/Wert-Köpfe=4). Gehen wir von einer 8-Bit-KV-Cache-Quantisierung aus (keine Qualitätsverluste). Mit 2 GB können Sie eine Kontextlänge von ~65k unterbringen. Ein guter Anfang. Wird besser werden.

@simonw (Ich habe einige der Ergebnisse überprüft und sie sind korrekt, soweit ich das beurteilen kann)

Es gibt viele Kommentare, dass dieses Modell benchmaxxed / geleakte Bewertungen / nicht so gut wie 4o ist. Es wäre schön, wenn jemand eine gründliche Analyse mit idealerweise versteckten und vielfältigen Benchmarks durchführen könnte. Mit welchem Frontier-Modell ist Qwen 3.5 4B vergleichbar? Was ist eine vernünftige Schätzung für die Zeit von Frontier zu Edge? Bisher sehe ich keine Beweise dafür, dass es mehr als 3 Jahre dauert, und sehr wahrscheinlich irgendwo im Bereich von 2-4 Jahren.