Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Chayenne Zhao
Członek personelu technicznego @radixark | Skalowalny RL @lmsysorg | Poprzednie laboratorium astronomiczne AGI SF @Amazon | Seed Infra ByteDance | NeuLab @LTIatCMU | BS @Tsinghua_Uni | Doktorat @UCLA
xAI > OpenAI. Zmiana klimatu jest rzeczywista.
Mój bliski przyjaciel—taki inżynier, o jakiego walczy każda firma Tier 1—wczoraj podpisał swoją ofertę. Powiedziałem mu wprost: nawet nie musiałem zgadywać, wiedziałem, że wybierzesz xAI. Jesteś klasycznym człowiekiem xAI.
To, czego ludzie nie rozumieją, to "estetyka brutalnej siły", którą buduje Elon. Podczas gdy inne laboratoria utknęły w nieskończonych spotkaniach dotyczących bezpieczeństwa i pętli PR, xAI to czysta, surowa walka. To inżynieria o wysokiej intensywności w najlepszym wydaniu.
Znam tak wielu absolutnych potworów, które niedawno się tam przeniosły i nawet nie dotknęły swoich biosów na LinkedIn czy Twitterze. Są zbyt zajęte wysyłaniem kodu i wykorzystywaniem pełnej mocy obliczeniowej, którą tylko Musk może zapewnić.
W tym wyścigu cisi, którzy pracują z najpotężniejszym zespołem, zazwyczaj wygrywają. xAI to gra końcowa.
9 sty, 12:03
I can confidently say our team at @xAI is 10x more competent than my former team at @OpenAI.
20
Koniec ery dla FAIR w Meta, ale początek Renesansu Robotyki w FAR Amazon.
Ludzie niedoceniają Amazon FAR, ponieważ myślą, że to tylko kolejny biurokratyczny ramion imperium Amazon. Błąd.
Pracując na stażu w FAR (AGI SF Lab) zeszłego lata, widziałem "ukrytą" stronę. Podczas gdy reszta Amazon przypomina dziedziczną gigantyczną firmę, FAR działa jak zespół SEAL z niesamowitą gęstością talentów (David Luan @jluan / Adept AI @AdeptAILabs mają zbudowaną ekipę inaczej).
To ta sama strategia co Qwen Alibaby czy MiMo Xiaomi: Radykalna autonomia = wyniki SOTA. Poza tym, w przeciwieństwie do większości Amazon, FAR naprawdę cię karmi (najlepsze jedzenie w Dolinie, nie kłóć się ze mną).
Jeśli stawiasz przeciwko Amazon w fizycznej AI, stawiasz przeciwko niewłaściwym ludziom. Wciąż tęsknię za atmosferą biura FAR i niekończącymi się technicznymi debatami z OGs tam.
4 sty, 08:38
1/4 Przez ostatnie kilka lat pracowałem w niepełnym wymiarze godzin w laboratorium FAIR w Meta, oprócz bycia profesorem na UC Berkeley. Ten etap już się zakończył, a od 5 stycznia będę prowadził badania nad robotyką w Amazon FAR w San Francisco, kontynuując jednocześnie pracę na Berkeley.
22
Przestań być obsesyjny na punkcie 8B lub 70B "właściwości emergentnych". Większość tego, co widzisz, to po prostu szum pomiarowy i oszustwa w benchmarkach.
Zawsze mówiłem, że Zeyuan Allen-Zhu robi najbardziej rygorystyczną "fizykę" LLM-ów. Jak zauważyłem w moich blogach, większość akademickich debat na temat architektury to po prostu kult cargo, ponieważ nie radzą sobie z kontrolą zmiennych.
Nowy tutorial Zeyuana dowodzi, że model 100M może ujawnić więcej prawd architektonicznych niż model 1T-token 8B. Jeśli tego nie śledzisz, po prostu bawisz się drogimi LEGO w ciemności.
Przemysł w końcu się budzi: Skalowanie bez zrozumienia "fizyki" to po prostu hazard bogatego człowieka.
16 gru 2025
(1/N)🚀Dziś uruchamiamy dwa ściśle powiązane kamienie milowe w serii Fizyk LM: udoskonaloną Część 4.1 (v2.0) oraz zupełnie nową Część 4.2 — razem tworzącą jasne, powtarzalne, podręcznikowe odniesienie do badań nad architekturą opartą na zasadach.
Część 4.1 wprowadziła syntetyczny plac zabaw do wstępnego szkolenia — nasz eksperyment Galileo dla LLM🍎. Nasza v2.0 wzmacnia go za pomocą Gated DeltaNet (GDN) i surowszej zgodności, budując jeszcze czystszy „wieżę w Pizie” do testowania granic architektonicznych.
Część 4.2 pokazuje, że te syntetyczne prognozy rezonują w rzeczywistości 🌍 — w zakresie 1–8B / 1T-token wstępnego szkolenia — potwierdzając, które zasady projektowe naprawdę mają znaczenie.
Razem, Części 4.1 i 4.2 wprowadzają syntetyczny i rzeczywisty świat w zaskakującą zgodność 🤝— jeszcze jeden krok w kierunku bardziej naukowego zrozumienia architektur LLM.
Jeśli jesteś ciekawy:
🧠dlaczego niektóre modele myślą głębiej
⚙️ dlaczego modele liniowe mają trudności z wyszukiwaniem
🎶dlaczego mały poziomy mikser (Canon) zmienia wszystko …
to wydanie łączy to wszystko razem.
(Linki na końcu)
24
Najlepsze
Ranking
Ulubione