Google antoi kielimalleille aitoa pitkäaikaista muistia. Uusi arkkitehtuuri oppii päättelyn aikana ja säilyttää kontekstin miljoonien tokenien välillä. Sen tarkkuus on ~70 prosenttia 10 miljoonalla tokenilla. Tämä arkkitehtuuri oppii samalla kun se toimii Titans lisää hermollisen pitkäaikaisen muistin, joka päivittyy generoinnin aikana. Ei painoja. Ei uudelleenkoulutusta. Live-oppiminen. • Pieni neuroverkko tallentaa pitkän kantaman kontekstia • Se päivittyy vain, kun jotain odottamatonta ilmenee • Rutiinitokenit jätetään huomiotta pysyäkseen nopeina Tämä antaa mallin muistaa paljon aiemman tekstin faktoja ilman, että kaikkea skannataan uudelleen. Se säilyttää nopeuden samalla kun skaalaa kontekstia Huomio pysyy paikallisena. Muisti käsittelee menneisyyttä. • Lineaarinen päättelykustannus • Ei neliömäisiä tarkkaavaisuuden räjähdyksiä • Vakaa tarkkuus yli kahden miljoonan tokenin Se mahdollistaa uudenlaisten sovellusten rakentamisen Voit käsitellä kokonaisia kirjoja, lokkeja tai genomia yhdellä kierroksella. Voit pitää tilaa pitkien sessioiden aikana. Voit lopettaa kontekstin lohkomisen vain selviytyäksesi rajoista.