NVIDIA julkaisi juuri artikkelin, joka saattaa ratkaista suurimman kompromissin LLM:issä. Nopeus vs. laatu. Autoregressiiviset mallit (kuten GPT) ovat älykkäitä mutta hitaita – ne tuottavat yhden tokenin kerrallaan, jolloin suurin osa näytönohjaimestasi on käyttämättömänä. Diffuusiomallit ovat nopeita, mutta tuottavat usein epäjohdonmukaisia tuloksia. TiDAR vie teidät molemmat yhdellä eteenpäin syötöllä. Tässä on nerokas osa: Nykyaikaiset GPU:t pystyvät käsittelemään paljon enemmän tokeneita kuin mitä me oikeasti käytämme. TiDAR hyödyntää näitä "ilmaisia paikkoja" seuraavasti: 1. Useiden tokenien luominen samanaikaisesti diffuusion avulla ("ajattelu"-vaihe) 2. Niiden varmistaminen autoregressiolla ("puhuva" vaihe) Molemmat tapahtuvat samanaikaisesti älykkäiden tarkkaavaisuusmaskien avulla – kaksisuuntaiset luonnosteluun, kausaaliset varmennukseen. Tulokset: ↳ 4,71 kertaa nopeampi 1,5B-parametreilla ilman laadun menetystä ↳ Lähes 6x nopeampi 8B-parametreilla ↳ Ensimmäinen arkkitehtuuri, joka päihittää spekulatiivisen dekoodauksen (EAGLE-3) ↳ Toimii standardin KV-välimuistin kanssa, toisin kuin puhtaat diffuusiomallit Harjoitustemppu on myös nerokas – sen sijaan, että tokenit peitettäisiin satunnaisesti, he peittävät kaiken. Tämä antaa vahvempia oppimissignaaleja ja mahdollistaa tehokkaan yksivaiheisen luonnostuksen. Jos rakennat reaaliaikaisia tekoälyagentteja, joissa viive tappaa kokemuksen, tähän arkkitehtuuriin kannattaa kiinnittää huomiota. ...