Ik ben na 8 jaar vertrokken bij Google DeepMind. Zoveel mooie herinneringen - van de vroege fundamentele papers in Google Brain (met @noamshazeer @ashvaswani @lukaszkaiser over Image Transformer, Tensor2Tensor, Mesh TensorFlow) tot het leiden van de Gemini posttraining evaluaties om bij te blijven en binnen 100 dagen te lanceren, en vervolgens het team leiden om naar LMArena #1 te springen (en daar meer dan een jaar te blijven!), en tenslotte werken aan de ongelooflijke redeneerinnovaties voor Gemini’s IMO & ICPC gouden medailles (met @HengTze @quocleix). Gemini is een wilde reis geweest van de ene paradigma naar de andere: eerst, het vernieuwen van ons LaMDA-model (de eerste instructie-achtige chatbot!) van een echte chatbot naar lange inhoudelijke reacties met RLHF; daarna, redeneren en diep nadenken door te trainen over lange denkketens, nieuwe omgevingen en beloningshoofden. Toen we voor het eerst begonnen, was de publieke opinie slecht. Iedereen dacht dat Google gedoemd was te falen vanwege zijn zoeklegacy en organisatorische politiek. Nu is Gemini consequent #1 in gebruikersvoorkeur en leidt het nieuwe wetenschappelijke prestaties, en iedereen denkt dat het voor de hand ligt dat Google wint. 😂 (Het was ook zo dat OpenAI de AI-nieuwscyclus zou overslaan door voor ons aan te kondigen vanuit een achterstand van ideeën voor elke nieuwe Google-release; veilig om te zeggen dat die achterstand leeg is.) Ik ben sindsdien bij xAI gegaan. Het recept is goed bekend. Rekenkracht, data en O(100) briljante, hardwerkende mensen zijn alles wat nodig is om een grensniveau LLM te verkrijgen. xAI gelooft hier *echt* in. Voor rekenkracht heb ik zelfs bij Google nooit deze hoeveelheid chips per hoofd van de bevolking ervaren (en 100K+ GB200/300K’s komen binnen met Colossus 2). Voor data heeft Grok 4 de grootste inzet gedaan in het schalen van RL & posttraining. xAI doet nieuwe inzetten om data, diep nadenken en het trainingsrecept te schalen. En het team is snel. Geen enkel bedrijf heeft bereikt waar xAI vandaag is in AI-capaciteiten in zo'n korte tijd. Zoals @elonmusk zegt, zijn de eerste- en tweede-orde afgeleiden van een bedrijf het belangrijkst: de versnelling van xAI is de hoogste. Ik ben enthousiast om aan te kondigen dat we in mijn eerste paar weken Grok 4 Fast hebben gelanceerd. Grok 4 is een geweldig redeneer model, nog steeds de beste op ARC-AGI en nieuwe benchmarks zoals FinSearchComp. Maar het is traag en was nooit echt gericht op de algemene gebruikersbehoeften. Grok 4 Fast is het beste mini-klasse model - op LMArena staat het op #8 (Gemini 2.5 Flash staat op #18!), en op kern redeneer evaluaties zoals AIME, is het gelijkwaardig aan Grok 4 terwijl het 15x goedkoper is. S/o aan @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_