Lähdin Google DeepMindistä 8 vuoden jälkeen. Niin monia mukavia muistoja – varhaisista perustavanlaatuisista artikkeleista Google Brainissa (@noamshazeer @ashvaswani @lukaszkaiser Image Transformerissa, Tensor2Tensorissa, Mesh TensorFlow'ssa) Geminien harjoittelun jälkeisten eval-kilpailujen johtamisesta kiinni ja julkaisuun 100 päivässä, sitten tiimin johtamisesta hyppäämään LMArena #1:een (ja pysymään siellä yli vuoden!), ja lopulta työskentelemään uskomattomien perusteluinnovaatioiden parissa Geminin IMO- ja ICPC-kultamitaleille (@HengTze @quocleix). Gemini on ollut villi matka paradigmasta toiseen: ensin LaMDA-mallimme (ensimmäinen ohjeen kaltainen chatbot!) uudistaminen todellisesta chatbotista pitkiin tyytyväisiin vastauksiin RLHF:n avulla; sitten päättely ja syvällinen ajattelu harjoittelemalla pitkiä ajatteluketjuja, uusia ympäristöjä ja palkitsevia päitä. Kun aloitimme, yleinen mielipide oli huono. Kaikki ajattelivat, että Google oli tuomittu epäonnistumaan hakuperinnön ja organisaatiopolitiikan vuoksi. Nyt Gemini on jatkuvasti #1 käyttäjien mieltymyksissä ja uusien tieteellisten saavutusten kärjessä, ja kaikkien mielestä Googlen voitto on itsestään selvää. 😂 (Aiemmin oli myös niin, että OpenAI hyppäsi tekoälyn uutissyklin ilmoittamalla meille jokaisen uuden Google-julkaisun ideoiden ruuhkasta; turvallista sanoa, että ruuhka on tyhjä.) Olen sittemmin liittynyt xAI:hen. Resepti on hyvin tunnettu. Laskenta, data ja O(100) nerokkaat ja ahkerat ihmiset ovat kaikki mitä tarvitaan rajatason LLM:n hankkimiseen. xAI *todella* uskoo tähän. Laskennan osalta en ole edes Googlella koskaan kokenut tätä # siruja asukasta kohden (ja 100K+ GB200/300K saapuu Colossus 2:n kanssa). Datan osalta Grok 4 teki suurimman panoksen RL:n skaalaamisessa ja jälkikoulutuksessa. xAI tekee uusia vetoja datan, syvällisen ajattelun ja koulutusreseptin skaalaamiseksi. Ja tiimi on nopea. Yksikään yritys ei ole päässyt siihen, missä xAI on nykyään tekoälyominaisuuksien suhteen niin lyhyessä ajassa. Kuten @elonmusk sanoo, yrityksen ensimmäisen ja toisen asteen johdannaiset ovat tärkeimpiä: xAI:n kiihtyvyys on suurin. Olen innoissani voidessani ilmoittaa, että ensimmäisten viikkojeni aikana lanseerasimme Grok 4 Fastin. Grok 4 on hämmästyttävä päättelymalli, joka on edelleen ARC-AGI:n ja uusien vertailuarvojen, kuten FinSearchCompin, kärjessä. Mutta se on hidas, eikä sitä ole koskaan suunnattu yleiskäyttöisiin käyttäjien tarpeisiin. Grok 4 Fast on paras miniluokan malli – LMArenassa se on #8 (Gemini 2.5 Flash on #18!), ja AIME:n kaltaisilla ydinpäättelyillä se on Grok 4:n tasolla ja 15 kertaa halvempi. S/o - @LiTianleli @jinyilll @ag_i_2211 @s_tworkowski @keirp1 @yuhu_ai_