Un'intervista davvero perspicace con un ex dipendente di $ORCL riguardo all'implementazione delle GPU $NVDA e l'economia dietro di essa: 1. Dalla sua esperienza, i benchmark forniti da $NVDA sono molto generosi nei loro confronti. Menziona di aver avuto anche esperienze in cui erano errati del 40%. In generale, la maggior parte degli accordi sulle GPU di calcolo in questo momento sono contratti a lungo termine, fortemente scontati. 2. Aveva centinaia di migliaia di GPU e cluster, e il 15% della sua flotta era inattivo in qualsiasi momento. Quando chiedeva a $NVDA dei ricambi, non li otteneva, e non poteva dire nulla perché avrebbero tagliato la sua allocazione. Menziona che $NVDA tiene in ostaggio molti dei clienti con la fila per la capacità futura. Il motivo per cui il 15% della flotta era inattivo era il 6% a causa delle GPU, il 5% a causa dei problemi di rete, e gli altri piccoli problemi casuali in un server. 3. In termini di utilità della vita di queste GPU, menziona che le persone stanno ancora usando le $NVDA Voltas e Pascals. Ma il problema più grande è: posso usare quello spazio e quella potenza per qualcosa di più interessante, o quel data center è troppo vecchio e lo ignori? 4. Menziona che il primo annuncio di $ORCL riguardo a $AMD per il MI300X di $AMD è stato coperto poiché $AMD si è impegnata a noleggiare alcune di quelle GPU per i loro sforzi ingegneristici. 5. Contrariamente alla visione dell'industria, menziona che attualmente, al di fuori dei grandi attori, non c'è molta domanda di inferenza, poiché il passaggio all'inferenza è stato lento nelle aziende di medie dimensioni e inferiori. Fa l'esempio recente di Lambda che ha spostato il suo servizio di inferenza come servizio verso la capacità di addestramento a causa della mancanza di domanda di inferenza. trovato su @AlphaSenseInc