.@JDVance + die Besten!!

Beide sind enorm. Vielen Dank für Ihre Aufmerksamkeit in dieser Angelegenheit!!

Eine interessante Fußnote im KI-Krieg wird sein, wie die Bittere Lektion auf das Humankapital angewendet wird, das an KI arbeitet. Auf der einen Seite steht dieser Einstellungsrausch (Google, Microsoft, Meta) und die Art der Einstellungen (PhDs, menschliche Experten), die gerade vorgenommen werden, während auf der anderen Seite der xAI-Ansatz (computer- und synthetische Ansätze) steht. Zahle einer Person 1 Milliarde Dollar ODER kaufe 1 Milliarde Dollar mehr Rechenleistung.

.@JonathanRoss321 (der Erfinder und Vater von TPU) und ich haben 2017 diese Wette abgeschlossen. @GroqInc ist jetzt die schnellste Inferenzlösung auf dem Markt. Hier sind einige bisher gewonnene Erkenntnisse: - Wenn wir davon ausgehen, dass wir zur Superintelligenz und dann zur allgemeinen Intelligenz gelangen, wird sich das gesamte Spiel auf die Inferenz konzentrieren. Die Architektur für Inferenz könnte nicht grundlegend anders sein als die für Training. Völlig unterschiedliche Speicher- und Leistungsanforderungen. Geschwindigkeit ist entscheidend. - Beginnen Sie mit einem bewährten, kostengünstigen und hochverfügbaren Prozessknoten und bleiben Sie auf dieser Kurve. Die Stapelung von Komplexität (d.h. 2nm) und Ertragsproblemen in einem Inferenzchip wird zu Kosten pro Ausgabetoken führen, die kommerziell nicht sinnvoll sind. - Es geht um die Verfügbarkeit und Vielfalt von Modellen. Wenn Ihr Chip im Wesentlichen ein ASIC für ein Modell ist, müssen Sie entweder intern in Mega-Skala darauf zugreifen (d.h. Google und TPU) oder Sie müssen App-Unternehmen anreizen, darauf aufzubauen (d.h. Amazon mit Anthropic und Inferentia). Wie auch immer, ich bin ein großer Fan der Richtung, aber Meta muss einige Schlaglöcher in der Ausführungsstrategie vermeiden. Ich wünsche ihnen viel Erfolg - mehr Lösungen sind meiner Meinung nach besser.

Oder wer auch immer Dojo macht... oh warte!

Eine wichtige Folgerung für diejenigen, die online wichtig sein wollen: Einfluss und Popularität sind absolute Wertübungen. Negative oder positive Aufmerksamkeit spielt keine Rolle. Was zählt, ist, dass die Bevölkerung über dich spricht und nicht über jemand anderen. Wenn du dein Wachstum an Abonnenten/Followern auf diese Weise misst, wirst du sehen, dass dies offensichtlich verborgen ist.

Coinbase hat mir eine ihrer seltenen Gedenkkarten für Satoshi Nakamoto Coinbase One geschickt (1 von 21). Ich freue mich darauf, im Herbst meine eigene zu bekommen, die 4 % Cashback in Bitcoin bietet. Es lebe BTC! Danke @coinbase @brian_armstrong @immuneeb

„Es hat viele Jahre gedauert, all den Dreck, den ich über mich selbst gelernt und halb geglaubt hatte, wieder auszukotzen, bevor ich in der Lage war, auf der Erde zu gehen, als hätte ich das Recht, hier zu sein.“ ― James Baldwin

Mit all den Fortschritten, die bei der Modellqualität auf "generischem Silizium" von den Herstellern grundlegender Modelle erzielt werden, ist es an der Zeit, die Modelle selbst mit der Aufgabe zu betrauen, ihr eigenes spezialisiertes Silizium je nach Anwendungsfall zu entwerfen. Das geschieht derzeit nur in geringem Maße, aber Lieferengpässe sollten mehr Modellhersteller dazu zwingen, die Notwendigkeit zu erkennen, maßgeschneidertes Silizium zu entwerfen. Einige Einschränkungen sind jedoch wichtig für diese Designherausforderung. Die wichtigste ist, ein nützliches Design bei einem nicht hochmodernen Prozessknoten aufrechtzuerhalten, damit keine Lieferengpässe oder Ertragsprobleme entstehen und man nicht auf physikalische Grenzen auf der Elektronenebene stößt. Die zweite wäre, wie man den Speicherverbrauch gestaltet - Cache vs. HBM je nach Anwendungsfall ist ein offensichtliches Paradoxon. Kühlung ist ein weiteres Thema. Ich habe mit einem großartigen Ingenieur an einer CO2-gekühlten Wärmepumpe gearbeitet. Wenn es funktioniert, sollten Racks, Systeme und Chips darüber nachdenken und versuchen, diese unterschiedlichen Kühlungsdynamiken zu nutzen, da sie weniger Einschränkungen mit sich bringen. Usw. usw. usw. Jedenfalls ist es für mich klar, dass wir in fünf Jahren zurückblicken werden und die Vielfalt an Silizium explodiert sein wird. Ich erwarte eine Menge Ankündigungen über neue Chips, beginnend mit dem Pre-Training und dann übergehend zur Inferenz.

🤔 Mindestens gibt es definitiv einige "AI-Haves" und "AI-Have Nots" unter den Top 10.