Tôi có một vài lo ngại về API của OpenAI: Đối với người dùng Linux, bạn có thể tự xây dựng một hệ thống như vậy một cách khá đơn giản bằng cách mua một hộp 4xH100, cài đặt nó tại nhà, cài đặt CUDA và vLLM cục bộ, và chạy GLM, Kimi, hoặc một mô hình mã nguồn mở tương đương. Với khối lượng công việc tiêu dùng điển hình, bạn nên mong đợi TPS cao hơn với một phần chi phí.