Crusoe Managed Inference дуже хороша. Crusoe MemoryAlloy ефективно об'єднує кілька шарів пам'яті, забезпечуючи масштабне розширення кешу KV та прискорення навантажень з інференції. Це особливо ефективно для довгих контекстних підказок. Дуже пишаюся командою, яка доставила такий неймовірний продукт! Спробуй!