Google ha appena dato ai modelli linguistici una vera memoria a lungo termine. Una nuova architettura impara durante l'inferenza e mantiene il contesto attraverso milioni di token. Ha una precisione di circa il 70% a 10 milioni di token. 𝗧𝗵𝗶𝘀 𝗮𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗹𝗲𝗮𝗿𝗻𝘀 𝘄𝗵𝗶𝗹𝗲 𝗶𝘁 𝗿𝘂𝗻𝘀 Titans aggiunge una memoria neurale a lungo termine che si aggiorna durante la generazione. Non pesi. Non riaddestramento. Apprendimento dal vivo. • Una piccola rete neurale memorizza il contesto a lungo raggio • Si aggiorna solo quando appare qualcosa di inaspettato • I token di routine vengono ignorati per rimanere veloci Questo consente al modello di ricordare fatti da testi molto precedenti senza dover esaminare tutto di nuovo. 𝗜𝘁 𝗸𝗲𝗲𝗽𝘀 𝘀𝗽𝗲𝗲𝗱 𝘄𝗵𝗶𝗹𝗲 𝘀𝗰𝗮𝗹𝗶𝗻𝗴 𝗰𝗼𝗻𝘁𝗲𝘅𝘁 L'attenzione rimane locale. La memoria gestisce il passato. • Costo di inferenza lineare • Niente esplosioni di attenzione quadratica • Precisione stabile oltre i due milioni di token 𝗜𝘁 𝗮𝗹𝗹𝗼𝘄𝘀 𝘆𝗼𝘂 𝘁𝗼 𝗯𝘂𝗶𝗹𝗱 𝗻𝗲𝘄 𝗸𝗶𝗻𝗱𝘀 𝗼𝗳 𝗮𝗽𝗽𝘀 Puoi elaborare interi libri, registri o genomi in un solo passaggio. Puoi mantenere lo stato attraverso lunghe sessioni. Puoi smettere di suddividere il contesto solo per sopravvivere ai limiti.