最近、Kestrel 0.1.2をリリースしました これは非常に高速なムーンドリーム推論エンジンです - sm89対応の追加(以下にL40S番号) - sm90(H100)は以前よりやや高速
vik
vik2月11日 14:16
L4 GPUの推論最適化。最大消費電力:72W
- 高速カーネルを使わない他のGPUでも動作し、スマートバッチ処理などの恩恵を受けられるはずですが、まだ十分にテストしていません
42