50% công việc tư vấn của tôi hiện tại là giúp các công ty sử dụng các mô hình mã nguồn mở ở quy mô lớn. Mọi người đều biết cách sử dụng một LLM mã nguồn mở trên máy tính của họ, nhưng thực sự rất khó để làm điều này ở quy mô lớn cho hàng ngàn người dùng. Dưới đây là cách mà điều này diễn ra: 1. Một nhóm xây dựng một nguyên mẫu sử dụng DeepSeek. 2. Mọi thứ trông ổn. Nó hoạt động! 3. Họ theo một hướng dẫn trực tuyến để triển khai mô hình trực tuyến. 4. Họ yêu cầu 10 người dùng thử ứng dụng. 5. Độ trễ tăng vọt khắp nơi. 6. Toàn bộ hệ thống dừng lại. 7. Họ đổ lỗi cho DeepSeek và thử lại với một mô hình mới. Vấn đề luôn nằm ở việc mở rộng suy diễn, không phải ở mô hình. Dưới đây là một khuyến nghị mà tôi đưa ra cho các công ty: Hãy xem Nebius Token Factory nếu bạn không muốn nghĩ về việc triển khai một mô hình mã nguồn mở nữa. Đây là một nền tảng suy diễn được quản lý để triển khai các LLM mã nguồn mở ở quy mô lớn. Điều này không dành cho các nguyên mẫu hoặc thí nghiệm nghiên cứu. Đây là khi bạn có một ứng dụng thực sự với người dùng thực sự. Ba lưu ý quan trọng về Token Factory: • Bạn có toàn quyền kiểm soát cách mà suy diễn diễn ra. • Bạn có độ trễ đuôi có thể dự đoán (P99, không phải trung bình). • Không có chi phí bất ngờ khi bạn mở rộng. Bạn có thể lập kế hoạch ngân sách của mình trước. ...