Uma memória não pode governar todas. Apresentamos o 𝗟𝗼𝗚𝗲𝗥, uma nova arquitetura de memória 𝗵𝘆𝗯𝗿𝗶𝗱𝗮 para reconstrução geométrica de longo contexto. O LoGeR permite uma reconstrução estável de até 𝟭𝟬𝗸 𝗳𝗿𝗮𝗺𝗲𝘀 / 𝗸𝗶𝗹𝗼𝗺𝗲𝘁𝗿𝗲 𝘀𝗰𝗮𝗹𝗲, com escalonamento 𝗹𝗶𝗻𝗲𝗮𝗿-𝘁𝗶𝗺𝗲 em comprimento de sequência, inferência 𝗳𝘂𝗹𝗹𝘆 𝗳𝗲𝗲𝗱𝗳𝗼𝗿𝘄𝗮𝗿𝗱 e 𝗻𝗼 𝗽𝗼𝘀𝘁-𝗼𝗽𝘁𝗶𝗺𝗶𝘇𝗮𝘁𝗶𝗼𝗻. Ainda assim, iguala ou supera fortes pipelines baseados em otimização. (1/5) @GoogleDeepMind @Berkeley_AI