è stata appena rilasciata la kestrel 0.1.2 è un motore di inferenza moondream davvero veloce - supporto sm89 aggiunto (numeri L40S qui sotto) - sm90 (H100) leggermente più veloce di prima
vik
vik11 feb, 14:16
ottimizzazione dell'inferenza per GPU L4. consumo massimo di energia 72 W
- dovrebbe funzionare anche su altre GPU senza kernel veloci, beneficiando comunque di smart batching ecc. ma non l'ho testato a fondo ancora.
46