«o que se precisa fundamentalmente não é a atenção em si, mas um mecanismo de evolução geométrica suficientemente expressivo para representações ocultas» Muito justo. A atenção é um caso particular de rotação de forma. Mas eu acho que algum elemento quadrático é inevitável para modelos estáticos.

Os humanos também seriam quadráticos se não tivéssemos uma hierarquia profunda de atualizações de memória, que não é realmente capturada pelo kv cache. É por isso que o HOPE é interessante, também.