Crusoe Managed Inference er veldig bra. Crusoe MemoryAlloy syr effektivt sammen flere lag med minne for å levere en massiv utvidelse av KV-cachen og akselerasjon av inferensarbeidsbelastninger. Dette er spesielt kraftfullt for lange kontekstprompts. Veldig stolt av teamet for å ha levert et så utrolig produkt! Prøv det!