Complètement faux. Les tailles de modèles vont devenir beaucoup plus grandes en 2026 en raison de l'augmentation des mondes de mise à l'échelle dans les racks Nvidia (et ceux de Google TPU aussi), passant de B200 avec 1,4 To par monde de mise à l'échelle de 8 puces à GB300 avec 20 To par monde de mise à l'échelle.
expatanon
expatanon18 mars, 03:04
Altman a admis que les modèles de transformateurs ont atteint leurs limites. La plupart des améliorations au cours des 9 derniers mois sont davantage attribuables aux outils entourant le modèle plutôt qu'aux modèles eux-mêmes. En d'autres termes, cette technologie mûrit rapidement sans signes d'un autre bond.
Les investissements incroyables dans les centres de données de 2024/2025 commencent à être opérationnels maintenant, avec du matériel bien meilleur que les modèles de génération actuelle qui sont optimisés pour l'inférence.
105