Qual è la vera scala di un superpod TPU? La vera scala di un supercomputer non è definita da quanti processori puoi inserire in una stanza; è definita da quanti processori possono pensare efficacemente come uno. Questa distinzione è la forza trainante dietro Ironwood, il nostro settimo generazione di Tensor Processing Unit (TPU), e l'architettura del superpod TPU. Sulla carta, la scala di un superpod Ironwood è impressionante: si espande fino a 9.216 chip in un singolo dominio interconnesso. Ma la vera scala risiede nel tessuto che li unisce. In un superpod Ironwood, utilizziamo una tecnologia di rete innovativa chiamata Inter-Chip Interconnect (ICI) che funziona a 9,6 terabit al secondo. Questo consente a quei 9.216 chip di comunicare con una latenza quasi istantanea, accedendo a un enorme 1,77 Petabyte di High Bandwidth Memory (HBM) condivisa. Quindi, come si collegano quasi 10.000 chip senza creare un incubo di cablaggio? La risposta risiede nell'Optical Circuit Switch (OCS). ◾ I cluster Ironwood sono costruiti da blocchi chiamati "cubi" (64 chip ciascuno). ◾ Per scalare oltre un singolo cubo, più cubi sono collegati utilizzando una rete Optical Circuit Switch (OCS). Questa è una rete ottica dinamica e riconfigurabile che collega interi cubi, consentendo al sistema di scalare da un piccolo "pod" (ad esempio, un pod Ironwood da 256 chip con quattro cubi) a un enorme "superpod" (ad esempio, un sistema da 9.216 chip con 144 cubi). ◾ Questa topologia basata su OCS è fondamentale per la tolleranza ai guasti. Se un cubo o un collegamento fallisce, il gestore del tessuto OCS istruisce l'OCS a bypassare otticamente quell'unità e stabilire nuovi circuiti ottici completi sostituendo un ricambio designato. → L'hardware è solo metà dell'equazione. La vera scala di un superpod TPU è sbloccata da uno stack software co-progettato per risultati più rapidi ed efficienti. Grazie a integrazioni profonde in tutto lo stack—dall'ottimizzazione hardware a livello di data center a software aperto e servizi gestiti—le TPU Ironwood sono le nostre TPU più potenti ed efficienti dal punto di vista energetico fino ad oggi.