NOWE badania z Meta Superintelligence Labs. Wykorzystuje sprytną strategię aukcyjną, aby poprawić działanie agentów samodoskonalących się w złożonych zadaniach. Małe agenty nie zawsze są wystarczające. W najprostszych zadaniach agent o 4 miliardach parametrów osiąga 87% wydajności agenta o 32 miliardach parametrów. Ale w najtrudniejszych zadaniach ta względna wydajność spada do zaledwie 21%. Domyślnym założeniem dzisiaj jest to, że albo używasz największego modelu do wszystkiego, albo kierujesz zadania za pomocą wytrenowanego klasyfikatora. Jednak wytrenowane routery degradują w miarę wzrostu trudności zadań, a kaskady nieprzewidywalne stają się zbyt kosztowne dla obciążeń agentów. Te nowe badania wprowadzają SALE (Aukcje Strategii dla Efektywności Obciążenia), ramy inspirowane rynkami freelancerów. Zamiast przewidywać, który model użyć tylko na podstawie opisu zadania, agenci licytują krótkie plany strategiczne, które są oceniane przez systematyczny mechanizm kosztów i wartości. Jak działa aukcja? Każdy kandydat-agent proponuje plan rozwiązania strategicznego. Rówieśnicza ława ocenia plany według przewidywanej wartości. Heurystyczny predyktor kosztów szacuje koszt wykonania. Agent z najlepszym stosunkiem kosztów do wartości wygrywa i realizuje swój plan. Mechanizm samodoskonalenia jest tym, co staje się interesujące. Po każdej aukcji wszystkie zaproponowane strategie są przechowywane w wspólnej pamięci. Tańsze agenty, które przegrały, mogą uczyć się z wygrywających strategii i składać udoskonalone oferty, analogicznie do freelancerów rozwijających swoje umiejętności w czasie. W zadaniach głębokiego przeszukiwania, SALE przewyższa najlepszy pojedynczy agent o 3,5 punktu w pass@1, jednocześnie redukując koszty o 35%. W zadaniach kodowania poprawia pass@1 o 2,7 punktu przy 25% niższych kosztach. W obu dziedzinach SALE zmniejsza zależność od największego agenta o 53%. Istniejące routery, takie jak WTP i FrugalGPT, albo osiągają gorsze wyniki niż największy agent, albo nie potrafią obniżyć kosztów. Koszty FrugalGPT w rzeczywistości wzrastają w przypadku złożonych zadań kodowania, osiągając 0,61 dolarów za milion tokenów w porównaniu do 0,36 dolarów najlepszego agenta. Mechanizmy koordynacji inspirowane rynkiem, które organizują heterogeniczne agenty w adaptacyjne ekosystemy, mogą systematycznie przewyższać zarówno pojedyncze duże modele, jak i wytrenowane podejścia do routingu. Artykuł: Naucz się budować skuteczne AI Agenty w naszej akademii: