только что выпущен kestrel 0.1.2 это действительно быстрый движок вывода moondream - добавлена поддержка sm89 (числа L40S ниже) - sm90 (H100) немного быстрее, чем раньше
vik
vik11 февр., 14:16
оптимизация вывода для L4 GPU. максимальное потребление энергии 72 W
- также должен работать на других GPU без быстрых ядер, все еще извлекая выгоду из умного пакетирования и т. д., но я еще не тестировал это тщательно.
55