Сейчас это выглядит довольно очевидно. Google ставит на несколько архитектур, а не только на трансформеры. Это было, когда Google анонсировала языковую модель на основе диффузии.