Google — це компанія, якій не бракує обчислювальної потужності, і йому не бракує більше, ніж Nvidia. Навіть відеокарти NVIDIA дуже ймовірно дотримуються TPU (прозорий консенсус у колі) 1️⃣ Тензорне ядро Повне представлення NVIDIA після Volta фактично наближається до спеціалізації матричного множення TPU 2️⃣ Низькоточний розрахунок (FP16 / BF16 / INT8) TPU оптимізувався для низької точності для виведення на ранніх етапах, і пізніше GPU був «змушений» підтримувати за вимогами моделі 3️⃣ Масова кластеризація + співпраця компілятора TPU — це вся система «апаратного × компілятора × планування», а NVIDIA лише почала серйозно займатися співпрацею на рівні Triton/CUDA Graph/NVLink Nvidia заробляє на потужності чипів, тоді як Google багато років покладається на стабільну екосистему, рекламу, пошукові системи, YouTube, браузери, Android та інші мережеві явища для постачання крові, а обчислювальна потужність — це лише її витрати, а не споживання прибутку. TPU завжди був універсальним дослідженням Google, що дозволяє проводити достатньо тривалих досліджень і скасовувати рішення. Розуміння TPU Джеффом Діном таке: якщо модель визначена вами, то апаратне забезпечення також має бути визначене вами, тож TPU — це повний набір системної інженерії з компілятора (XLA), обчислювального графа (TensorFlow), топології дата-центру, системи планування Щодо ризику, оскільки NVIDIA продає GPU, вона повинна обслуговувати всіх клієнтів, а рівень відмовостійкості надзвичайно низький. Які американські акції купувати — знову ж таки зрозуміло