50 % av mitt konsultarbete just nu handlar om att hjälpa företag att använda open source-modeller i stor skala. Alla vet hur man använder en open source-LLM på sina datorer, men det är verkligen svårt att göra detta i stor skala för tusentals användare. Så här utvecklas detta: 1. Ett team bygger en prototyp med hjälp av DeepSeek. 2. Allt ser bra ut. Det fungerar! 3. De följer en onlineguide för att distribuera modellen online. 4. De ber 10 användare att prova appen. 5. Latenstoppar överallt. 6. Hela systemet stannar. 7. De skyller på DeepSeek och försöker igen med en ny modell. Problemet ligger alltid i skalningsinferens, inte i modellen. Här är en rekommendation jag ger företag: Kolla in Nebius Token Factory om du aldrig vill fundera på att lansera en öppen källkodsmodell igen. Detta är en hanterad inferensplattform för att distribuera open source-LLM:er i stor skala. Detta gäller inte prototyper eller forskningsexperiment. Detta gäller när du har en riktig applikation med riktiga användare. Tre viktiga anteckningar om Token Factory: • Du har full kontroll över hur slutsatser fungerar. • Du har förutsägbar svanslatens (P99, inte genomsnitt). • Inga överraskande kostnader när du skalar upp. Du kan förplanera din budget. ...