振り返るとかなり明白です。Googleはトランスフォーマーだけでなく複数のアーキテクチャに賭けています。 この時期にGoogleは拡散ベースの言語モデルを発表しました。