У мене є кілька зауважень щодо OpenAI API: Для користувача Linux ви вже можете зібрати таку систему досить просто, купивши приставку 4xH100, встановивши її вдома, локально встановивши CUDA та vLLM, а також запустивши GLM, Kimi або подібну модель з відкритим кодом. У типових споживчих навантаженнях слід очікувати вищого TPS за частку вартості.