Ho alcune riserve riguardo all'API di OpenAI: Per un utente Linux, puoi già costruire un sistema del genere in modo piuttosto semplice acquistando un box 4xH100, installandolo a casa, installando CUDA e vLLM localmente, e eseguendo GLM, Kimi o un modello open-source comparabile. Con carichi di lavoro tipici per i consumatori, dovresti aspettarti un TPS più elevato a una frazione del costo.