Kestrel 0.1.2'yi yeni çıkardı Gerçekten hızlı bir ay hayali çıkarma motoru - SM89 desteği eklendi (aşağıda L40S numaraları) - sm90 (H100) öncekinden biraz daha hızlıdır
vik
vik11 Şub 14:16
L4 GPU'lar için çıkarımı optimize etmek. maksimum güç tüketimi 72 W
- ayrıca hızlı çekirdekleri olmayan diğer GPU'larda da çalışmalı, yine de akıllı toplu çalışmadan faydalanıyor ama henüz tam olarak test etmedim
48