MetalRT vừa trở thành động cơ suy diễn AI hoàn chỉnh đầu tiên cho Apple Silicon: LLM + STT + TTS bởi @RunAnywhereAI. Chúng tôi đã có tốc độ giải mã LLM nhanh nhất (658 tok/s). Bây giờ chúng tôi đã vượt qua cả STT và TTS, đánh bại MLX trên toàn bộ. Số liệu hôm nay trên M4 Max: - Podcast 1 giờ được chuyển thể trong khoảng 5 giây - Cuộc họp 3 giờ được chuyển thể trong khoảng 15 giây - Phụ đề trực tiếp với độ trễ không thể nhận thấy - Nhanh hơn 714 lần so với thời gian thực cho STT - Nhanh hơn 4.6 lần so với MLX của Apple về chuyển đổi giọng nói thành văn bản Tất cả ba phương thức. Một động cơ thống nhất. Và đây chỉ là các thành phần riêng lẻ. Toàn bộ quy trình AI giọng nói mà chúng tôi đang xây dựng sẽ là NHANH NHẤT từ trước đến nay trên Apple Silicon. Sẽ ra mắt sớm. Các số liệu, biểu đồ và chi tiết đầy đủ trong phần bình luận. #AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI