.@JDVance + de Besties!!

Beide zijn enorm. Dank u voor uw aandacht voor deze zaak!!

Een interessante voetnoot in de AI-oorlogen zal zijn hoe de Bittere Les van toepassing is op het menselijk kapitaal dat aan AI werkt. Aan de ene kant is er deze aanwervingsgolf (Google, Microsoft, Meta) en de soorten aanwervingen (PhD's, menselijke experts) die momenteel worden gedaan, versus aan de andere kant de xAI-aanpak (computer- en synthetische benaderingen). Betaal één persoon $1B OF koop $1B meer rekenkracht.

.@JonathanRoss321 (de uitvinder en vader van TPU) en ik hebben deze weddenschap in 2017 gemaakt. @GroqInc is nu de snelste inferentieoplossing op de markt vandaag. Hier zijn enkele lessen die tot nu toe zijn geleerd: - als we aannemen dat we Super Intelligence bereiken en daarna General Intelligence, zal het hele spel samenvallen in Inference. De ontwerparchitectuur voor Inference kan niet meer verschillen van die voor Training. Volledig verschillende geheugen- en energieoverwegingen. Snelheid is van het grootste belang. - Begin met een bewezen, goedkope en zeer beschikbare procesnode en blijf op die curve. Complexiteit stapelen (bijv. 2nm) en opbrengstproblemen in een Inference-chip zullen resulteren in een kostprijs per outputtoken die commercieel niet logisch is. - Het draait allemaal om modelbeschikbaarheid en diversiteit. Als je chip in wezen een ASIC voor één model is, moet je die ofwel op mega-schaal intern gebruiken (bijv. Google en TPU) of je moet appbedrijven stimuleren om ervoor te bouwen (bijv. Amazon met Anthropic en Inferentia). Hoe dan ook, ik ben een grote fan van de richting, maar Meta moet enkele hobbels in de uitvoeringsstrategie vermijden. Ik wens ze het beste - meer oplossingen zijn beter imo.

Of wie dan ook Dojo maakt... oh wacht!

Een belangrijke conclusie voor degenen die online belangrijkheid willen: Invloed en populariteit zijn absolute waarde-oefeningen. Negatieve of positieve aandacht doet er niet toe. Wat ertoe doet is dat de bevolking over jou praat en niet over iemand anders. Wanneer je je groei in abonnees/volgers op deze manier meet, zul je dit in het volle zicht zien verborgen.

Coinbase heeft me een van hun zeldzame herdenkingskaarten van Satoshi Nakamoto Coinbase One gestuurd (1 van 21). Ik ben enthousiast om de mijne in de herfst te krijgen, die 4% terugkomt via Bitcoin. Lang leve BTC! Bedankt @coinbase @brian_armstrong @immuneeb

"Het heeft vele jaren geduurd om al de vuiligheid die ik over mezelf was geleerd en half geloofd had, uit te braken, voordat ik in staat was om op de aarde te lopen alsof ik het recht had om hier te zijn." ― James Baldwin

Met alle vooruitgang die wordt geboekt in de modelkwaliteit op "generieke silicium" door de makers van fundamentele modellen, is het tijd om de modellen zelf de taak te geven om hun eigen gespecialiseerde silicium per gebruiksgeval te ontwerpen. Dit gebeurt momenteel in beperkte mate, maar leveringsbeperkingen zouden meer modelmakers moeten dwingen om de noodzaak te realiseren om op maat gemaakte silicium te ontwerpen. Sommige beperkingen zijn echter belangrijk voor deze ontwerpopgave. De belangrijkste is het behouden van een nuttig ontwerp op een niet-geavanceerde procesnode, zodat je geen leveringsbeperkingen of opbrengstproblemen creëert en niet tegen de natuurkunde op het elektroniveau vecht. De tweede zou zijn hoe je het geheugengebruik ontwerpt - cache versus HBM per gebruiksgeval is een voor de hand liggend paradox. Koeling is weer een ander punt. Ik heb samengewerkt met een geweldige ingenieur die een CO2-gekoelde warmtepomp ontwerpt. Als het werkt, zouden rekken, systemen en chips dit moeten overwegen en werken om gebruik te maken van deze verschillende koelmechanismen, omdat het minder beperkingen oplevert. Etc. etc. etc. Hoe dan ook, het is voor mij gewoon duidelijk dat we over vijf jaar terugkijken en de diversiteit van silicium explosief zal zijn toegenomen. Ik verwacht een heleboel aankondigingen over nieuwe chips te zien, te beginnen met pre-training en vervolgens overgaand naar inferentie.

🤔 Minimaal zijn er zeker enkele "AI hebben" en "AI hebben niet" onder de top 10.