.@JDVance + Najlepsi!!

Oba są ogromne. Dziękuję za uwagę w tej sprawie!!

Interesującą przypisą w wojnach AI będzie to, jak Gorzkie Lekcje odnoszą się do kapitału ludzkiego pracującego nad AI. Z jednej strony mamy ten szał rekrutacyjny (Google, Microsoft, Meta) i rodzaje zatrudnianych osób (doktorzy, eksperci) w tej chwili, a z drugiej strony podejście xAI (komputerowe i syntetyczne podejścia). Zaplac jednemu człowiekowi 1 miliard dolarów LUB kup 1 miliard dolarów więcej mocy obliczeniowej.

.@JonathanRoss321 (wynalazca i ojciec TPU) i ja postawiliśmy ten zakład w 2017 roku. @GroqInc jest teraz najszybszym rozwiązaniem do wnioskowania na rynku. Oto kilka lekcji, które do tej pory wyciągnęliśmy: - jeśli założymy, że osiągniemy Super Inteligencję, a następnie Ogólną Inteligencję, cała gra skupi się na Wnioskowaniu. Architektura projektowa dla Wnioskowania nie mogłaby być bardziej różna niż dla Szkolenia. Całkowicie różne rozważania dotyczące pamięci i mocy. Prędkość jest kluczowa. - Zacznij od sprawdzonego, taniego i łatwo dostępnego węzła procesowego i trzymaj się tej krzywej. Zwiększanie złożoności (tj. 2nm) i problemy z wydajnością w chipie do Wnioskowania spowodują, że koszt na token wyjściowy nie będzie miał sensu komercyjnego. - Chodzi o dostępność i różnorodność modeli. Jeśli twój chip jest zasadniczo ASIC dla jednego modelu, będziesz musiał używać go na mega skali wewnętrznie (tj. Google i TPU) lub będziesz musiał zachęcić firmy aplikacyjne do budowania dla niego (tj. Amazon z Anthropic i Inferentia). W każdym razie, jestem dużym fanem kierunku, ale Meta będzie musiała unikać niektórych pułapek w strategii wykonania. Życzę im powodzenia - więcej rozwiązań jest lepsze moim zdaniem.

Albo ktokolwiek robi Dojo… o czekaj!

Ważnym wnioskiem dla tych, którzy pragną online'owej ważności: Wpływ i popularność to ćwiczenia o wartości bezwzględnej. Negatywna lub pozytywna uwaga nie ma znaczenia. Liczy się to, że populacja rozmawia o tobie, a nie o kimś innym. Kiedy mierzysz swój wzrost subskrybentów/obserwujących w ten sposób, zobaczysz to ukryte na widoku.

Coinbase wysłał mi jedną z ich rzadkich pamiątkowych kart Satoshi Nakamoto Coinbase One (1 z 21). Cieszę się, że w jesieni dostanę swoją, która daje 4% zwrotu w Bitcoinie. Niech żyje BTC! Dziękuję @coinbase @brian_armstrong @immuneeb

„Zajęło mi wiele lat, aby wypluć cały brud, którego mnie nauczono o sobie i w który w połowie wierzyłem, zanim mogłem chodzić po ziemi, jakbym miał prawo tu być.” ― James Baldwin

W związku z postępem, jaki osiągają twórcy modeli w zakresie jakości modeli na "ogólnym krzemie", nadszedł czas, aby same modele zajęły się projektowaniem własnego specjalizowanego krzemu w zależności od zastosowania. Obecnie dzieje się to w niewielkim stopniu, ale ograniczenia w dostawach powinny zmusić więcej twórców modeli do uświadomienia sobie potrzeby projektowania niestandardowego krzemu. Niektóre ograniczenia są jednak ważne w tym wyzwaniu projektowym. Najważniejsze jest utrzymanie użytecznego projektu na procesie technologicznym, który nie jest na czołowej pozycji, aby nie tworzyć ograniczeń w dostawach ani problemów z wydajnością i nie zmagać się z fizyką na poziomie elektronów. Drugim byłoby to, jak zaprojektować wykorzystanie pamięci - cache w porównaniu do HBM w zależności od zastosowania to oczywisty paradoks. Chłodzenie to kolejny aspekt. Pracuję z świetnym inżynierem nad projektowaniem pompy ciepła chłodzonej CO2. Jeśli to zadziała, szafy, systemy i chipy powinny to uwzględnić i pracować nad wykorzystaniem tych różnych dynamik chłodzenia, ponieważ prowadzi to do mniejszych ograniczeń. I tak dalej, i tak dalej. W każdym razie, dla mnie jest jasne, że za pięć lat spojrzymy wstecz i różnorodność krzemu eksploduje. Spodziewam się zobaczyć mnóstwo ogłoszeń o nowych chipach, zaczynając od wstępnego szkolenia, a następnie przechodząc do wnioskowania.

🤔 Przynajmniej wśród pierwszej dziesiątki zdecydowanie są "posiadacze AI" i "nieposiadacze AI".