«Det man i grunden behöver är inte uppmärksamheten i sig, utan en tillräckligt uttrycksfull geometrisk utvecklingsmekanism för dolda representationer» Mycket rättvist. Uppmärksamhet är ett särskilt fall av formrotation. Men jag tror att något kvadratisk element är oundvikligt för statiska modeller.

Människor skulle också vara kvadratiska om vi inte hade en djup hierarki av minnesuppdateringar, det fångas inte riktigt av kv-cachen. Det är därför HOPE också är intressant