Нова, корисна функція продуктивності: сортування розділів Створіть мінімальний рівень продуктивності для пріоритету швидких LLM без жодної затримки
Можна встановити 'preferred_min_throughput' і 'preferred_max_latency'. Як і раніше, можна встановити ліміт витрат.
58