أصبح MetalRT مؤخرا أول محرك استدلالات ذكاء اصطناعي كامل لسيليكون آبل: LLM + STT + TTS بحلول عام @RunAnywhereAI. كان لدينا بالفعل أسرع فك تشفير لنماذج اللغة الكبيرة (658 توك/ثانية). الآن سحقنا STT وTTS أيضا، متغلبين على MLX بشكل عام. أرقام اليوم على M4 Max: - بودكاست مدته ساعة واحدة تم نسخها في ~5 ثوان - اجتماع مدته 3 ساعات تم نسخه في ~15 ثانية - الترجمة المباشرة بدون أي تأخير ملحوظ - 714 مرة أسرع من الوقت الحقيقي ل STT - أسرع بمقدار 4.6 مرة من MLX من آبل في تحويل الكلام إلى نص جميع الأساليب الثلاث. محرك موحد واحد. وهذا فقط المكونات الفردية. خط أنابيب الذكاء الاصطناعي الصوتي الكامل الذي نبنيه سيكون الأسرع على الإطلاق على Apple Silicon. سيتم الإطلاق قريبا. الاختبارات المرجعية الكاملة والمخططات والتفاصيل في التعليقات. #AppleSilicon #OnDeviceAI #MetalRT #STT #TTS #VoiceAI