UUTTA tutkimusta Meta Superintelligence Labsilta. Se käyttää älykästä strategia-huutokauppakehystä parantaakseen itseään parantavia agentteja monimutkaisissa tehtävissä. Pienet agentit eivät aina riitä. Yksinkertaisimmissa tehtävissä 4B-parametrin agentti saavuttaa 87 % 32B-agentin suorituskyvystä. Mutta kaikkein monimutkaisimmissa tehtävissä tuo suhteellinen suorituskyky laskee vain 21 %:iin. Nykyinen oletusoletus on, että käytät kaikkein suurinta mallia tai reitität tehtävät koulutetulla luokittelijalla. Mutta koulutetut reitittimet heikkenevät, kun tehtävien vaikeustaso kasvaa, ja ei-ennakoivat ketjut muuttuvat liian kalliiksi agenttien työkuormille. Tämä uusi tutkimus esittelee SALE:n (Strategy Auctions for Workload Efficiency), viitekehyksen, joka on saanut inspiraationsa freelancer-markkinapaikoista. Sen sijaan, että ennustattaisiin, mitä mallia käytetään pelkän tehtäväkuvauksen perusteella, agentit tarjoavat lyhyillä strategisilla suunnitelmilla, jotka pisteytetään systemaattisella kustannus-arvo-mekanismilla. Miten huutokauppa toimii? Jokainen ehdokasagentti ehdottaa strategista ratkaisusuunnitelmaa. Vertaisvalamiehistö arvioi suunnitelmia ennustetun arvon perusteella. Heuristinen kustannusennustaja arvioi toteutuskustannukset. Agentti, jolla on paras kustannus-arvo -kompromissi, voittaa ja toteuttaa suunnitelmansa. Itsensä kehittämisen mekanismi on se, missä se muuttuu mielenkiintoiseksi. Jokaisen huutokaupan jälkeen kaikki ehdotetut strategiat tallennetaan yhteiseen muistipankkiin. Halvemmat agentit, jotka hävisivät, voivat oppia voittavista strategioista ja tehdä tarkennettuja tarjouksia, kuten freelancerit kehittyvät ajan myötä. Syvähakutehtävissä SALE ylittää parhaan yksittäisen agentin pass@1 3,5 pisteellä ja vähentää kustannuksia 35 %. Koodaustehtävissä se parantaa pass@1 2,7 pistettä 25 % alhaisemmalla kustannuksella. Molemmilla aloilla SALE vähentää riippuvuutta suurimmasta välittäjästä 53 %. Nykyiset reitittimet, kuten WTP ja FrugalGPT, joko alisuoriutuvat suurimmasta agentista tai eivät alenna kustannuksia. FrugalGPT:n kustannukset nousevat itse asiassa monimutkaisissa koodaustehtävissä, ollen 0,61 dollaria miljoonaa tokenia kohden verrattuna parhaan agentin 0,36 dollariin. Markkinan inspiroimat koordinointimekanismit, jotka järjestävät heterogeeniset agentit adaptiivisiksi ekosysteemeiksi, voivat systemaattisesti päihittää sekä yksittäiset suuret mallit että koulutetut reititysmenetelmät. Artikkeli: Opi rakentamaan tehokkaita tekoälyagentteja akatemiassamme: