Google только что дал языковым моделям настоящую долгосрочную память. Новая архитектура обучается во время вывода и сохраняет контекст на миллионы токенов. Она достигает ~70 процентов точности на 10 миллионах токенов. 𝗧𝗵𝗶𝘀 𝗮𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗹𝗲𝗮𝗿𝗻𝘀 𝘄𝗵𝗶𝗹𝗲 𝗶𝘁 𝗿𝘂𝗻𝘀 Titans добавляет нейронную долгосрочную память, которая обновляется во время генерации. Не веса. Не переобучение. Живое обучение. • Небольшая нейронная сеть хранит долгосрочный контекст • Она обновляется только когда появляется что-то неожиданное • Обычные токены игнорируются для поддержания скорости Это позволяет модели запоминать факты из гораздо более раннего текста, не просматривая все снова. 𝗜𝘁 𝗸𝗲𝗲𝗽𝘀 𝘀𝗽𝗲𝗲𝗱 𝘄𝗵𝗶𝗹𝗲 𝘀𝗰𝗮𝗹𝗶𝗻𝗴 𝗰𝗼𝗻𝘁𝗲𝘅𝘁 Внимание остается локальным. Память обрабатывает прошлое. • Линейные затраты на вывод • Без квадратичных всплесков внимания • Стабильная точность после двух миллионов токенов 𝗜𝘁 𝗮𝗹𝗹𝗼𝘄𝘀 𝘆𝗼𝘂 𝘁𝗼 𝗯𝘂𝗶𝗹𝗱 𝗻𝗲𝘄 𝗸𝗶𝗻𝗱𝘀 𝗼𝗳 𝗮𝗽𝗽𝘀 Вы можете обрабатывать целые книги, журналы или геномы за один проход. Вы можете сохранять состояние на протяжении долгих сессий. Вы можете прекратить деление контекста, чтобы просто выжить в условиях ограничений.