Opravdu zasvěcený rozhovor s bývalým zaměstnancem $ORCL o nasazení $NVDA GPU a ekonomice, která za tím stojí: 1. Podle jeho zkušeností jsou měřítka, která $NVDA poskytuje, sama k sobě velmi štědrá. Zmiňuje, že měl dokonce zkušenost, kdy se o 40 % lišili. Obecně platí, že většina nabídek výpočetních GPU v současnosti jsou dlouhodobé a výrazně zlevněné nabídky. 2. Měl stovky tisíc GPU a clusterů a 15 % jeho flotily bylo v daném okamžiku mimo provoz. Když $NVDA žádal o náhradní díly, nedostal je a nemohl nic říct, protože by mu odřízli příděl. Zmiňuje, že $NVDA drží mnoho zákazníků jako rukojmí s frontou na budoucí kapacitu. Důvodem, proč bylo 15 % flotily mimo provoz, bylo 6 % kvůli GPU, 5 % kvůli síťovým klapkám a dalším náhodným drobnostem na serveru. 3. Pokud jde o užitečnost životnosti těchto GPU, zmiňuje, že lidé stále používají $NVDA Volty a Pascaly. Ale větší problém je, zda mohu tento prostor a výkon využít pro něco zajímavějšího, nebo je to datové centrum příliš staré a vy ho ignorujete? 4. Zmiňuje, že první oznámení $ORCL $AMD pro MI300X $AMD, $ORCL bylo zahrnuto v tom, že se $AMD zavázal pronajmout si některé z těchto GPU zpět pro své inženýrské úsilí. 5. Na rozdíl od názoru odvětví zmiňuje, že právě teď, kromě velkých hráčů, není velká poptávka po inferenci, protože přechod k inferenci byl ve středně velkých společnostech a níže pomalý. Uvádí nedávný příklad společnosti Lambda, která přesouvá svou inferenci-as-a-service do školicí kapacity kvůli nedostatku poptávky po inferenci. Nalezeno na @AlphaSenseInc