Yeni ve faydalı performans özelliği: Bölüm Sıralaması Hızlı LLM'lere öncelik vermek için bir performans zemini oluşturun, gecikme sorunu sıfır

'preferred_min_throughput' ve 'preferred_max_latency' ayarlar. Daha önce olduğu gibi, bir maliyet sınırı da belirleyebilirsiniz.