W zaledwie 48 godzin w @RunAnywhereAI zbudowaliśmy MetalRT: pokonując @Apple w ich własnej grze i dostarczając NAJSZYBSZY silnik wnioskowania LLM na rynku dla Apple Silicon w tej chwili. - 570 tok/s dekodowanie @liquidai LFM 2.5-1.2B 4-bit - 658 tok/s dekodowanie @Alibaba_Qwen Qwen3-0.6B, 4-bit - 6.6 ms czas do pierwszego tokena - 1.19× szybszy niż własny MLX Apple'a (identyczne pliki modelu) - 1.67× szybszy niż llama.cpp w średniej Zdominowaliśmy Apple MLX, llama.cpp, uzu(by TryMirai) i Ollama w czterech różnych modelach 4-bit, w tym zoptymalizowanym na urządzeniu LFM2.5-1.2B na pojedynczym M4 Max. Podekscytowani tym!