Mô hình Kimi K2.5 của Moonshot AI là mô hình trọng số mở số 2, và hiện có sẵn trên 8 nhà cung cấp, mỗi nhà cung cấp có giá cả và hiệu suất khác nhau. Kimi K2.5 từ @Kimi_Moonshot là một trong những mô hình trọng số mở hàng đầu, đạt 47 trên Chỉ số Phân tích Trí tuệ Nhân tạo, và khả năng lập trình mạnh mẽ cùng với việc sử dụng công cụ khiến nó trở thành một mô hình phổ biến để sử dụng như một đại lý lập trình. Chúng tôi đang đánh giá các điểm cuối mô hình K2.5 từ 8 nhà cung cấp API, với tốc độ token đầu ra thay đổi khoảng ~330 token/s giữa các nhà cung cấp nhanh nhất và chậm nhất - khiến việc lựa chọn nhà cung cấp trở thành một yếu tố quan trọng. Những điểm chính từ việc đánh giá: ➤ ⚡ Tốc độ: @basetenco cung cấp điểm cuối Kimi K2.5 nhanh nhất với 344 token đầu ra mỗi giây, tiếp theo là @FireworksAI_HQ (273 t/s) và @novita_labs (52 t/s) ➤ ⏳ Độ trễ: Chúng tôi theo dõi TTFT (thời gian đến token đầu tiên) và TTFAT (thời gian đến token câu trả lời đầu tiên). Đối với các mô hình lý luận, TTFAT là chỉ số chính vì nó đánh dấu khi người dùng lần đầu tiên thấy đầu ra có thể sử dụng. Baseten dẫn đầu về TTFAT với 6.5 giây, vượt qua Fireworks (7.7 giây) và Novita AI (39.4 giây). Đối với TTFT, Fireworks AI dẫn đầu với 0.36 giây, tiếp theo là @togethercompute (0.49 giây) và Baseten (0.72 giây) ➤ 💲 Giá cả: @DeepInfra là nhà cung cấp có chi phí thấp nhất cho Kimi K2.5, với giá $0.45/M token đầu vào và $2.25/M token đầu ra, rẻ hơn 25% so với các nhà cung cấp đắt nhất ➤ 🪟 Cửa sổ ngữ cảnh: Tất cả các nhà cung cấp hỗ trợ cửa sổ ngữ cảnh đầy đủ 256k token ngoại trừ Baseten, nhà cung cấp này hỗ trợ cửa sổ ngữ cảnh 231k ➤ 🖼️ Đa phương thức: 7 trong số 8 nhà cung cấp hỗ trợ khả năng đầu vào đa phương thức gốc của Kimi K2.5, với Baseten chỉ hỗ trợ đầu vào văn bản ➤ 🧰 Các công cụ được hỗ trợ: Gọi công cụ và chế độ JSON được tất cả 8 nhà cung cấp hỗ trợ.

Chúng tôi đánh giá TTFT (thời gian đến token đầu tiên) và TTFAT (thời gian đến token câu trả lời đầu tiên), với TTFAT là chỉ số chính cho các mô hình suy luận. Baseten dẫn đầu với TTFAT 6.5 giây, trong khi Fireworks AI dẫn đầu TTFT với 0.36 giây.

So sánh các nhà cung cấp cho Kimi K2.5 (Lý do) tại