«ciò di cui si ha fondamentalmente bisogno non è l'attenzione stessa, ma un meccanismo di evoluzione geometrica sufficientemente espressivo per le rappresentazioni nascoste» Molto giusto. L'attenzione è un caso particolare di rotazione della forma. Ma penso che un elemento quadratico sia inevitabile per i modelli statici.

Gli esseri umani sarebbero quadratici anche noi se non avessimo una profonda gerarchia di aggiornamenti della memoria, che non è realmente catturata dalla cache kv. Ecco perché HOPE è interessante, anche.