Tôi đã tìm thấy mã nguồn siêu năng lực của Claude và nó thật sự là một thiên tài Đây là một repo có tên là claude-code-hub - một nền tảng tổng hợp để quản lý nhiều nhà cung cấp AI (claude, openai, gemini, codex) Nó làm gì: - Cân bằng tải thông minh: đặt trọng số và ưu tiên cho mỗi nhà cung cấp. Nếu bạn có nhiều khóa API, nó phân phối các yêu cầu giữa chúng. Có bộ ngắt mạch tích hợp phát hiện khi một nhà cung cấp gặp sự cố và tự động chuyển hướng xung quanh nó (tối đa 3 lần thử lại) - Quản lý phiên: bộ nhớ cache ngữ cảnh 5 phút để bạn không phải liên tục chuyển đổi nhà cung cấp giữa cuộc trò chuyện. Theo dõi "chuỗi quyết định" của nhà cung cấp nào đã xử lý cái gì, hữu ích cho việc gỡ lỗi hành vi kỳ lạ - Giới hạn tỷ lệ: giới hạn theo RPM, theo chi phí (giới hạn 5 giờ/hàng tuần/hàng tháng), hoặc theo phiên đồng thời. Sử dụng các script lua của redis nên các giới hạn là nguyên tử. Nếu redis gặp sự cố, nó sẽ mở thay vì chặn mọi thứ - Theo dõi chi phí thực: hiển thị mức sử dụng theo người dùng, tiêu thụ token, chi phí theo thời gian. Có chế độ xem bảng xếp hạng để bạn có thể thấy ai đang tiêu tốn tín dụng. Đồng bộ với giá của litellm - Lớp tương thích openai: nếu bạn có các công cụ được xây dựng cho định dạng API của openai, điều này cho phép chúng hoạt động với claude thay thế. Tự động xử lý chuyển đổi định dạng, gọi công cụ, các trường lý luận Đối tượng mà điều này hướng đến: - Các nhóm muốn thanh toán/theo dõi thống nhất giữa các nhà cung cấp - Bất kỳ ai gom nhiều khóa API để dự phòng - Những người muốn tự động chuyển đổi khi một nhà cung cấp gặp sự cố - Các tổ chức cần nhật ký kiểm toán của tất cả các cuộc gọi API AI

liên kết repo: