Environments Hub ble lansert for en uke siden, og vi har allerede crowdsourcet 100+ miljøer. Alt fra teorembevis, kjernegenerering, vitenskapelig qa, nettleserbruk og mer. Hvert miljø som bidrar endrer maktbalansen mot åpen kildekode AI. Noen høydepunkter:

For $10/time kan du selv være vert for Kimi og generere historier (eller noe annet) til 440 tokens/sek på 8 H200 GPUer med Prime Intellect. Nøkkelen er å ikke bekymre deg for ventetid. For eksempel, hvis du vil ha 26 400 tokens fra 24 spørsmål, kan du være vert for Kimi selv og få det på omtrent et minutt (når alt er oppe og går 😉). Det utgjør omtrent $6 per million utgangstokens. Ganske kult! På Groq er imidlertid Kimi K2-0905 (256k) $3,00 per million utgangstokens. Så jeg kan ikke engang være selvvert billigere enn Groq – i hvert fall ikke med belastningen og innstillingene jeg prøvde. Men den er fortsatt omtrent 2.5× billigere enn Sonnet 4.0, som denne modellen (ifølge benchmarks) tilsvarer omtrent Jeg synes selvhosting av en så kraftig modell er utrolig styrkende. Enten subsidierer Groq Kimi-tokens kraftig, eller så har de virkelig fantastisk teknologi. 🙂 PS: For korte lignende spørsmål, besvart av bare noen få tokens, kan vi få omtrent 573 token/sekund utdata som fører til omtrent 150 000 forespørsler per time. Så 150K enkle klassifiseringer per time for kimi k2 på 8xh200

Environments Hub ble lansert for en uke siden, og vi har allerede crowdsourcet 100+ miljøer. Alt fra teorembevis, kjernegenerering, vitenskapelig qa, nettleserbruk og mer. Hvert miljø som bidrar endrer maktbalansen mot åpen kildekode AI. Noen høydepunkter: