Jeg fordømmer sterkt å kritisere Prime Intellect, de gjør akkurat det rette. Å ettertrene kinesiske basemodeller til grensenivå er faktisk *viktigere* akkurat nå enn å lære å forhåndstrene våre egne baser. Jeg bryr meg egentlig ikke om hva PI, Arcee og andre kan forhåndstrene, selv om jeg har rimelige forventninger om at de snart tar igjen. Compute er rikelig i Vesten, og vi ser allerede bevis på tilstrekkelig forhåndstreningsekspertise med mindre modeller (disse to + @ZyphraAI, @Dorialexander, @natolambert med Olmo...) i det vestlige åpne rommet; Alt tyder på at den skalerer. Men det er stort sett av... geopolitisk betydning, av det dere får lov til å kjøre på deres patriotiske servere koblet til agentiske rammeverk. Jeg er verken vestlig eller kinesisk, og i motsetning til det jeg har skrevet, bryr jeg meg ikke terminalt om denne dimensjonen, det er et rent instrumentelt spørsmål. Se biografien: rasen er ikke mellom USA/Vesten og Kina, det er mellom mennesker og AGI-er versus ape-maktsentralisering. Og Prime Intellect gjør mer enn noen andre for å stoppe den sentraliserende drivkraften. Tenk og gråt: HF er stappfull av himmelske gaver som vi er for udugelige til å bruke, de råtner bare der til de blir utdaterte. Tusenvis til millioner av nedlastinger og ingenting å vise til. Hvorfor lager Qwen i det hele tatt gammeldagse, veldig dyre lama-lignende tette modeller? Hovedsakelig fordi a) Alibaba har en KPI «månedlige HF-nedlastinger» og b) akademikere og små laboratorier ikke klarer å finjustere moderne arkitekturer. Selv om infrastrukturen var mer moden og de teknisk sett mindre ngmi, hva finjusterer de den på? Den narrative toppen av åpen kildekode-finjustering var Nous-Hermes, og det paradigmet var i bunn og grunn bare å destillere GPT-4, filtrere etter «smak» og vage kriterier, SFT-e over et sterkt grunnlag, og håpe på det beste. Den angrepsvinkelen ble hånlig avfeid på forhånd av OpenAI og co. som en ikke-truende blindvei som belønner hallusinasjoner og stiletterligning, og det ebbet forutsigbart ut. Hva nå, «RL»? Hvilken RL, hvordan RL, hva er signalgeneratoren, hvordan krysser den med nedstrøms oppgaver? Kimi-K2, en plettfri base på grensenivå, har vært tilgjengelig for alle i mange måneder. DeepSeek-V3, nesten ett år nå. V2, godt over ett år. Dusiner av modeller i alle størrelser, periodisk oppdatert med lengre kontekst og andre fordeler. Og hva har vi bygget med alt dette? Alt som i det hele tatt nærmer seg kinesiske interne instruksjoner, for ikke å snakke om moderne grense? Hei? Kan du peke meg i retning av disse derivatene? Det er en fullstendig vanhelligelse av ideen om åpen vitenskap. Og ikke engang kineserne bryr seg, de trener bare sine egne modeller fra bunnen av. Jeg kan komme på et lite antall unntak (f.eks. Rednote som lager DSV3-VL), men ingen av dem gjorde stort inntrykk. Oppstartsbedrifter verdt milliarder, hvis gravgrav er søk eller agentisk koding og dermed store datasett etter opplæring, bruker i smug DS/GLM/Qwen i sine proprietære produkter, men de deler ikke alfa. Det vil si... om det. Inn kommer Prime Intellect. De løser trening. De løser miljøgenerering. De tenker på en prinsipiell måte om signaler som former generell modellkognisjon. De låser i praksis opp det enorme lageret av inert verdi som har blitt akkumulert. For verden er dette så mye mer enn enda en me-too-modell. De er skrekkende smarte, de har gode intensjoner, de har en solid veikart, og de er vennene mine. Jeg vil ikke akseptere arbeidet deres, for det tjener Den Store Felles Oppgaven. Hvis du ikke ser det, har du ingen anelse om hva som egentlig er viktig på dette stadiet.

Jeg har slettet alle gachaene, så jeg fulgte ikke med Men ja, Seed har knekket sanntidsspilling med ferdige VLM-er

Måten Venti-diskursen har nådd Very Serious People at Big Labs (og på en eller annen måte involvert meg; veldig merkelig!) gir meg sterke AI-vintervibber. Jeg er redd twinks og femboys ikke er nok til å redde denne tingen, folkens.