Дивлячись назад, це досить очевидно. Google робить ставку на кілька архітектур, а не лише на трансформери. Саме тоді Google анонсувала мовну модель на основі дифузії.