«lo que uno necesita fundamentalmente no es la atención en sí, sino un mecanismo de evolución geométrica suficientemente expresivo para representaciones ocultas» Muy justo. La atención es un caso particular de rotación de forma. Pero creo que algún elemento cuadrático es inevitable para modelos estáticos.

Los humanos también serían cuadráticos si no tuviéramos una profunda jerarquía de actualizaciones de memoria, que no está realmente capturada por el caché kv. Por eso HOPE es interesante, también.