«Apa yang dibutuhkan secara fundamental bukanlah perhatian itu sendiri, tetapi mekanisme evolusi geometris yang cukup ekspresif untuk representasi tersembunyi» Sangat adil. Perhatian adalah kasus rotasi bentuk tertentu. Tapi saya pikir beberapa elemen kuadrat tidak dapat dihindari untuk model statis.

Manusia juga akan kuadrat jika kita tidak memiliki hierarki pembaruan memori yang mendalam, itu tidak benar-benar ditangkap oleh cache kv. Itu sebabnya HOPE juga menarik