MetalRT щойно став першим повноцінним AI-інфігенційним рушієм для Apple Silicon: LLM + STT + TTS до @RunAnywhereAI. У нас вже був найшвидший декодування LLM (658 ток/с). Тепер ми також розгромили STT і TTS, випередивши MLX у всіх аспектах. Сьогоднішні показники на M4 Max: - 1-годинний подкаст, транскрибований за ~5 секунд - 3-годинна зустріч, транскрибована за ~15 секунд - Живі субтитри з нульовою помітною затримкою - У 714 разів швидше за реальний час для STT - У 4,6 раза швидше, ніж Apple MLX у режимі перетворення тексту Усі три модальності. Один єдиний двигун. І це лише окремі компоненти. Повний конвеєр голосового AI, який ми будуємо зверху, буде НАЙШВИДШИМ за всю історію Apple Silicon. Запуск скоро. Повні бенчмарки, діаграми та деталі в коментарях. #AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI