Uusi, hyödyllinen suorituskykyominaisuus: Osioiden lajittelu Luo suorituskykytaso, jossa voit priorisoida nopeita LLM-malleja ilman viivettä
Voit asettaa 'preferred_min_throughput' ja 'preferred_max_latency'. Kuten aiemmin, voit myös asettaa kustannuskaton.
104