12 tuntia poissa.... API:t tulevat korvistani... turhautuminen on todellista... Mutta se lähestyy! Ehkä... ehkä se vain voisi toimia.... Odotan innolla matkan ostamista $Think matkatoimistoni kautta... @thinkagents @mikeyanderson @dmcd_nz

Meta Superintelligence Labs sai LLM:t käsittelemään 16 kertaa enemmän kontekstia ja avaamaan jopa 31-kertaisen nopeuden. 🤯 Heidän uusi REFRAG-viitekehyksensä ajattelee RAG:ia uudelleen alusta alkaen saavuttaakseen tämän, ja kaikki tämä ilman tarkkuuden laskua. Näin se toimii: Pitkän kontekstin ydinongelma on yksinkertainen: asiakirjan tekeminen 2x pidemmäksi voi tehdä tekoälystäsi 4x hitaamman Tämä johtuu siitä, että LLM:n huomiomekanismi on kallis. Sen kustannukset ja muistin käyttö kasvavat kvadraattisesti (N²) tekstin pituuden mukaan. REFRAG väistää tämän. Pakkaa: Pieni, kevyt kooderi lukee ensin noudetut asiakirjat. Se pakkaa jokaisen 16 merkin tekstinpätkän yhdeksi tiheäksi vektoriksi, jota kutsutaan "palaupotukseksi", joka vangitsee semanttisen olemuksen. Lyhennä: Pää-LLM:lle syötetään sitten sarja näitä upotuksia raakatokenien sijaan. Sen käsiteltävä syöttö on nyt 16 kertaa lyhyempi. Kiihdyttää: Koska syöttösekvenssi on niin lyhyt, kvadraattinen huomiolaskenta on halvempaa ja KV-välimuisti (LLM:ien ensisijainen muistisiika) on pienempi. Tämä avaa 30,85-kertaisen nopeuden. Valitse: Tarkkuuden takaamiseksi vahvistusoppimiskäytäntö (RL) toimii laadunvalvonnan valvojana. Se tunnistaa kriittisimmät, tietotiheät palat ja käskee järjestelmää olemaan pakkaamatta niitä, mikä varmistaa, että tärkeimmät yksityiskohdat säilyvät. Miksi tällä on merkitystä: REFRAG tekee lupauksesta laajan kontekstin RAG:sta tuotannon todellisuutta. Yritysjohtajat: Näin voit skaalata tekoälysovelluksia kannattavasti. Toimita käyttäjille tehokkaampia vastauksia analysoimalla kokonaisia raportteja, ei vain sivuja, samalla kun olet nopeampi ja halvempi. Harjoittajat: Sinun ei enää tarvitse valita suurten kontekstien ja kohtuullisten muistibudjettien välillä. REFRAG antaa sinulle molemmat. Se on arkkitehtoninen voitto ilman arkkitehtonisia muutoksia. Tutkijat: Tämä työ osoittaa, että dekoodausstrategioiden suunnittelu yhdessä sovelluskohtaisten tietomallien kanssa (kuten RAG:n huomion niukkuus) tuottaa tuloksia geneeristen raa'an voiman ratkaisujen lisäksi.