tocmai am lansat Kestrel 0.1.2 Este un motor de inferență Moondream foarte rapid - a adăugat suport pentru sm89 (numere L40S mai jos) - sm90 (H100) puțin mai rapid decât înainte
vik
vik11 feb., 14:16
optimizarea inferenței pentru GPU-urile L4. consum maxim de energie 72 W
- ar trebui să ruleze și pe alte plăci video fără kernel-uri rapide, beneficiind totuși de batching inteligent etc., dar încă nu am testat asta temeinic
47