MetalRT se právě stal prvním kompletním AI inferenčním enginem pro Apple Silicon: LLM + STT + TTS od @RunAnywhereAI. Už jsme měli nejrychlejší dekódování LLM (658 tok/s). Teď jsme rozdrtili i STT a TTS, porazili jsme MLX ve všech ohledech. Dnešní čísla na M4 Max: - Hodinový podcast přepsán za ~5 sekund - 3hodinové setkání přepsáno za ~15 sekund - Živé titulky bez postřehnutelného zpoždění - 714x rychlejší než v reálném čase pro STT - 4,6x rychlejší než Apple MLX v převodu řeči na text Všechny tři způsoby. Jeden jednotný motor. A to jsou jen jednotlivé komponenty. Kompletní AI pipeline pro hlas, na které stavíme, bude NEJRYCHLEJŠÍ v historii Apple Silicon. Brzy vydávám. Kompletní benchmarky, grafy a podrobnosti najdete v komentářích. #AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI