يسألني الناس لماذا أصر على بطاقات الرسوميات وليس ماك ستوديوز/ماك ميني لهذا السبب: - Llama 3.1 70B BF16 على 8x RTX 3090s - 50+ طلب متزامن - الاستدلال الدفعي - معدل النقل المستمر ليس هذا فقط: > ~2k سياق لكل طلب (طلب) > ~1.8 ألف رمز في الإنتاج > دقيقتان و29 ثانية ل50 استجابة هذا مجال كرت الشاشة. لا يمكنك فعل ذلك على جهاز ماك. ليس بعد على الأقل.