Mistral dường như sắp phát hành 2 mẫu mới: Ministral 3 và Mistral Large 3. Về kiến trúc, có vẻ như: > hoàn toàn giống như llama2/3 cho Ministral, điều này rất giống (ngay cả khi họ thêm SWA) với phiên bản Mistral 7B đầu tiên phát hành 2 năm trước. > hoàn toàn giống kiến trúc như DeepSeek V3 cho mẫu lớn (có vẻ như là một MoE) Đối với cả hai, họ cũng sử dụng quy mô rope của llama4 (thay vì yarn), và đối với mẫu lớn, họ dường như triển khai giải mã suy đoán với eagle liên kết đến prs trong chủ đề