Jag har några invändningar mot OpenAI API:et: För en Linux-användare kan du redan bygga ett sådant system själv ganska enkelt genom att köpa en 4xH100-box, installera den hemma, installera CUDA och vLLM lokalt och köra GLM, Kimi eller en jämförbar öppen källkodsmodell. Med typiska konsumentarbetsbelastningar bör du förvänta dig högre TPS för en bråkdel av kostnaden.