📣 Variace v ověřování: Pochopení dynamiky ověřování ve velkých jazykových modelech 📄 Papír: 🔗 Projekt: Přemýšleli jste někdy, zda je váš LLM verifikátor skutečně spolehlivý pro váš úkol? Náš analytický rámec odhaluje tři klíčové faktory, které určují úspěšnost ověření napříč obtížností problému, schopností generátoru a schopností ověřovatele. Klíčové poznatky: 📈 Obtížnost problému vede ke správnému rozpoznání odpovědí - ověřovatelé vynikají v jednoduchých problémech, ale bojují s obtížnými 🔍 Síla generátoru ovlivňuje detekci chyb - slabé generátory produkují zjevné chyby, silné vytvářejí elegantní, ale špatná řešení ⚖️ Škálování verifikátoru ukazuje klesající výnosy v určitých režimech - někdy GPT-4o sotva porazí menší modely 💡 Pro škálování v době testu: slabé generátory + ověření se mohou vyrovnat výkonu silných generátorů a drahé ověřovatele se ne vždy vyplatí. Skvělá práce Yefan Zhou @LiamZhou98, Austin Xu @austinsxu, Yilun Zhou @YilunZhou, Janvijay Singh @iamjanvijay, Jiang Gui @JiangGui, Shafiq Joty @JotyShafiq! #LLM #AIVerification #TestTimeScaling #FutureOfAI #EnterpriseAI

1// S hrdostí oznamujeme spuštění TOOL Testnetu!

Nový příspěvek na blogu o asymetrii verifikace a "zákonu verifikátora": Asymetrie verifikace – myšlenka, že některé úlohy je mnohem snazší ověřit než vyřešit – se stává důležitou myšlenkou, protože máme RL, který konečně funguje obecně. Skvělými příklady asymetrie ověřování jsou věci jako sudoku, psaní kódu pro webové stránky jako instagram a problémy BrowseComp (trvá ~100 webových stránek, než najdete odpověď, ale snadno ji ověříte, jakmile odpověď máte). Jiné úlohy mají téměř symetrii ověřování, jako je sečtení dvou 900místných čísel nebo některé skripty pro zpracování dat. Jiné úkoly je však mnohem snazší navrhnout pro ně proveditelná řešení, než je ověřit (např. ověření faktů v dlouhé eseji nebo stanovení nové diety jako "jezte pouze bizony"). Důležitou věcí, kterou je třeba pochopit o asymetrii ověřování, je, že asymetrii můžete zlepšit tím, že si předem uděláte nějakou práci. Například pokud máte klíč odpovědí na matematický problém nebo pokud máte testovací případy pro problém Leetcode. To značně zvyšuje množinu problémů s žádoucí verifikační asymetrií. "Zákon ověřovatele" říká, že snadnost trénování umělé inteligence k vyřešení úkolu je úměrná tomu, jak ověřitelný úkol je. Všechny úkoly, které je možné řešit a snadno ověřit, budou řešeny umělou inteligencí. Schopnost vycvičit umělou inteligenci k řešení úkolu je úměrná tomu, zda má úkol následující vlastnosti: 1. Objektivní pravda: všichni se shodnou na tom, jaká jsou dobrá řešení 2. Rychlé ověření: jakékoli dané řešení lze ověřit během několika sekund 3. Škálovatelné ověření: lze ověřit mnoho řešení současně 4. Nízký šum: ověření je co nejtěsněji spojeno s kvalitou řešení 5. Průběžná odměna: je snadné seřadit dobrotu mnoha řešení pro jeden problém Jedním ze zřejmých příkladů zákona ověřovatele je skutečnost, že většinu benchmarků navržených v AI lze snadno ověřit a dosud byla vyřešena. Všimněte si, že prakticky všechny populární benchmarky za posledních deset let vyhovovaly kritériím #1-4; Benchmarky, které nesplňují kritéria #1-4, by se těžko staly populárními. Proč je ověřitelnost tak důležitá? Množství učení v AI, ke kterému dochází, je maximalizováno, když jsou splněna výše uvedená kritéria; Můžete udělat spoustu kroků se sklonem, kde každý krok má velký signál. Rychlost iterací je rozhodující – je to důvod, proč je pokrok v digitálním světě mnohem rychlejší než pokrok ve fyzickém světě. AlphaEvolve od Googlu je jedním z největších příkladů využití asymetrie ověřování. Zaměřuje se na nastavení, která splňují všechna výše uvedená kritéria, a vedla k řadě pokroků v matematice a dalších oblastech. Na rozdíl od toho, co jsme dělali v oblasti umělé inteligence v posledních dvou desetiletích, je to nové paradigma v tom, že všechny problémy jsou optimalizovány v prostředí, kde je vlaková sada ekvivalentní testovací sadě. Asymetrie ověřování je všudypřítomná a je vzrušující uvažovat o světě zubaté inteligence, kde se vyřeší vše, co můžeme změřit.