«O que fundamentalmente se precisa não é atenção em si, mas um mecanismo geométrico de evolução suficientemente expressivo para representações ocultas» Muito justo. A atenção é um caso particular de rotação de forma. Mas acho que algum elemento quadrático é inevitável para modelos estáticos.

Os humanos também seriam quadráticos se não tivéssemos uma hierarquia profunda de atualizações de memória, que não é realmente capturada pelo cache kv. É por isso que HOPE também é interessante