Trend-Themen
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Chayenne Zhao
Mitglied des technischen Personals @radixark | Skalierbares RL @lmsysorg | Frühere AGI SF Lab @Amazon | Seed Infra ByteDance | NeuLab @LTIatCMU | BS @Tsinghua_Uni | PhD @UCLA
xAI > OpenAI. Der Vibe-Wechsel ist echt.
Ein guter Freund von mir – die Art von Ingenieur, um die jedes Tier-1-Unternehmen kämpft – hat gestern sein Angebot unterschrieben. Ich habe ihm direkt gesagt: Ich musste nicht einmal raten, ich wusste, dass du xAI wählen würdest. Du bist ein klassischer xAI-Mensch.
Was die Leute nicht verstehen, ist die "brutale Ästhetik", die Elon aufbaut. Während andere Labore in endlosen Sicherheitsbesprechungen und PR-Schleifen feststecken, ist xAI einfach purer, roher Kampf. Es ist Hochintensitätsingenieurwesen vom Feinsten.
Ich kenne so viele absolute Monster, die kürzlich dorthin gewechselt sind und nicht einmal ihre LinkedIn- oder Twitter-Bios aktualisiert haben. Sie sind zu beschäftigt damit, Code zu versenden und die volle Rechenleistung zu nutzen, die nur Musk bereitstellen kann.
In diesem Rennen gewinnen normalerweise die stillen, die mit dem mächtigsten Team arbeiten. xAI ist das Endspiel.
9. Jan., 12:03
Ich kann mit Zuversicht sagen, dass unser Team bei @xAI 10-mal kompetenter ist als mein ehemaliges Team bei @OpenAI.
19
Das Ende einer Ära für FAIR bei Meta, aber der Beginn einer Robotik-Renaissance bei FAR Amazon.
Die Leute unterschätzen Amazon FAR, weil sie denken, es sei nur ein weiteres bürokratisches Glied im Amazon-Imperium. Falsch.
Nachdem ich letzten Sommer ein Praktikum bei FAR (AGI SF Lab) gemacht habe, habe ich die "versteckte" Seite gesehen. Während der Rest von Amazon wie ein Erbe-Riese wirkt, operiert FAR wie ein SEAL-Team mit einer verrückten Talentdichte (David Luan @jluan / Adept AI @AdeptAILabs Crew ist anders aufgebaut).
Es ist das gleiche Spielbuch wie Alibabas Qwen oder Xiaomis MiMo: Radikale Autonomie = SOTA-Ergebnisse. Außerdem, im Gegensatz zu den meisten von Amazon, versorgt dich FAR tatsächlich (das beste Essen im Valley, komm nicht mit mir).
Wenn du gegen Amazon im Bereich der physischen KI wettest, wettest du gegen die falschen Leute. Ich vermisse immer noch die Atmosphäre im FAR-Büro und die endlosen technischen Debatten mit den OGs dort.
4. Jan., 08:38
1/4 In den letzten Jahren habe ich Teilzeit im FAIR-Labor bei Meta gearbeitet, zusätzlich zu meiner Professur an der UC Berkeley. Diese Phase ist jetzt vorbei, und ab dem 5. Januar werde ich eine Forschungsinitiative im Bereich Robotik bei Amazon FAR in San Francisco leiten, während ich weiterhin an der Berkeley tätig bin.
21
Hör auf, besessen von 8B oder 70B "emergenten Eigenschaften" Müll zu sein. Das meiste, was du siehst, ist nur Messrauschen und Benchmark-Betrug.
Ich habe immer gesagt, dass Zeyuan Allen-Zhu die rigoroseste "Physik" von LLMs macht. Wie ich in meinen Blogs erwähnt habe, sind die meisten akademischen Debatten über Architektur nur Cargo-Kult, weil sie bei der Variablenkontrolle versagen.
Zeyuans neues Tutorial beweist, dass ein 100M-Modell mehr architektonische Wahrheiten offenbaren kann als ein 1T-Token 8B-Modell. Wenn du das nicht verfolgst, spielst du nur im Dunkeln mit teuren LEGOs.
Die Branche wacht endlich auf: Skalierung ohne Verständnis der "Physik" ist nur das Glücksspiel eines reichen Mannes.
16. Dez. 2025
(1/N)🚀Heute starten wir zwei eng miteinander verbundene Meilensteine in der Physik der LM-Serie: ein verfeinertes Teil 4.1 (v2.0) und ein brandneues Teil 4.2 — zusammen bilden sie ein klares, reproduzierbares, lehrbuchartiges Referenzwerk für principled Architekturforschung.
Teil 4.1 führte einen synthetischen Pretraining-Spielplatz ein — unser Galileo-Experiment für LLMs🍎. Unsere v2.0 stärkt es mit Gated DeltaNet (GDN) und strengerer Ausrichtung, wodurch ein noch saubererer „Pisa-Turm“ zum Testen architektonischer Grenzen entsteht.
Teil 4.2 zeigt, dass diese synthetischen Vorhersagen in der Realität widerhallen 🌍 — über 1–8B / 1T-Token-Pretraining — und bestätigt, welche Designprinzipien tatsächlich wichtig sind.
Zusammen bringen die Teile 4.1 und 4.2 die synthetische und die reale Welt in überraschende Übereinstimmung 🤝— ein weiterer Schritt zu einem wissenschaftlicheren Verständnis von LLM-Architekturen.
Wenn Sie neugierig sind auf:
🧠warum einige Modelle tieferes Denken haben
⚙️ warum lineare Modelle beim Abrufen Schwierigkeiten haben
🎶warum ein winziger horizontaler Mischer (Canon) alles verändert …
verbindet diese Veröffentlichung alles miteinander.
(Links am Ende)
23
Top
Ranking
Favoriten