Naprawdę imponujące wydanie hybrydowych małych modeli od zespołu Qwen, jak zawsze! Ludzie pytają, jak wypadają pod względem prędkości, opóźnienia i pamięci w porównaniu do LFMs od @liquidai do wdrożenia na urządzeniach? Oto szybkie profilowanie na Apple M3 Ultra: > LFM2.5-1.2B jest o 52% szybszy w dekodowaniu niż Qwen3.5-0.8B. > LFM2-700M jest o 71% szybszy niż Qwen3.5-0.8B w dekodowaniu > LFM2-2.6B ma tę samą prędkość co Qwen3.5-2B w dekodowaniu > LFM2-700M używa o 46% mniej pamięci szczytowej niż Qwen3.5-0.8B > LFM2-2.6B używa o 21% mniej pamięci szczytowej niż Qwen3.5-2B > lfms prefill z tym samym rozmiarem parametrów jest zazwyczaj o 12% szybszy niż Qwen3.5 Zaprojektowaliśmy serię LFM2 z naszym podejściem do projektowania meta AI z hardware-in-the-loop, które pozwala nam znaleźć najbardziej efektywną architekturę dla danego procesora bez poświęcania jakości. Test został przeprowadzony na Apple M3 Ultra, 512 GB pamięci zintegrowanej Konfiguracja: > 512 tokenów prompt, 128 tokenów generacji, > 5 prób na konfigurację > Framework: MLX (mlx-lm / mlx-vlm)