Chúng tôi đang gặp một vấn đề nghiêm trọng với việc tinh chỉnh. Bất kỳ ai cố gắng thực hiện SFT hoặc RL hôm nay đều bị buộc phải chọn một trong hai cực đoan: 1. Các API "dễ sử dụng" mà gần như không cho bạn quyền kiểm soát quá trình đào tạo. 2. Địa ngục hạ tầng hoàn toàn, nơi bạn phải xử lý các điểm kiểm tra, GPU thô, các lần thử lại, chi phí nhàn rỗi và hệ thống ống dẫn vô tận. Có rất ít thứ ở giữa. Tôi đã nói chuyện với một vài đội phải chọn cái ít tồi tệ hơn trong hai điều xấu này. Hầu hết đều phải chi rất nhiều tiền cho những người có thể xử lý hạ tầng vì họ không có lựa chọn nào khác. Dưới đây là một lựa chọn khác: Nhóm HPC-AI vừa phát hành một SDK tinh chỉnh cho phép bạn kiểm soát hoàn toàn mã đào tạo của mình mà không phải xử lý địa ngục hạ tầng: • Bạn nhận được các công thức SFT tùy chỉnh • RL hoặc RLVR (Học Tăng cường với Phần thưởng Có thể Xác minh) • Bạn có thể sử dụng các hàm phần thưởng của riêng mình • Bạn có thể sử dụng các vòng lặp đào tạo của riêng mình Họ xử lý mọi thứ về phía hạ tầng: • Bạn không bao giờ chạm vào cấu hình Kubernetes • Bạn không bao giờ chạm vào bộ lập lịch cụm • Bạn không bao giờ chạm vào việc cấp phát GPU • Bạn không bao giờ chạm vào hệ thống ống dẫn điểm kiểm tra phân tán Điều này mở ra việc tinh chỉnh cho nhiều đội hơn. Bạn không còn phải chọn giữa "quá đơn giản để hữu ích" và "quá phức tạp đến mức trở thành cơn ác mộng." Ý tưởng chính ở đây rất đơn giản: Mô hình này tách rời thiết kế thuật toán khỏi kỹ thuật hạ tầng. Còn một điều khác: Với mô hình này, bạn trả tiền theo token thay vì thuê GPU theo giờ và xử lý các cụm nhàn rỗi.

Nếu bạn muốn thử điều này, bạn có thể đăng ký bằng một mã mà đội ngũ đã chia sẻ với tôi (được nhúng trong liên kết bên dưới): Mã này sẽ cho bạn $10 trong các phiếu miễn phí (khoảng 1.5M token) để thực hiện công việc đào tạo đầu tiên của bạn. Và đây là Kho lưu trữ GitHub với SDK: Cảm ơn đội ngũ HPC-AI đã hợp tác với tôi trong bài viết này.