استيقظت على دمج علاقات عامة جديدة لي في تورشتيتان. يصلح عدم استقرار في trunc_normal_ الشعلة ل bf16 الذي أدى إلى انحراف الأوزان عند التهيئة المبكرة، مما أدى إلى تفعيل كبير وتدريب غير مستقر.