Výsledky Tiny Recursion Model (TRM) na ARC-AGI - ARC-AGI-1: 40 %, 1,76 $/úkol - ARC-AGI-2: 6,2 %, 2,10 USD/úloha Děkujeme @jm_alexia za přispění TRM, dobře napsaným, otevřeným zdrojovým a důkladným výzkumem pro komunitu založeným na HRM od @makingAGI

Děkujeme @k_schuerholt za reprodukci těchto výsledků pro ARC Prize, které byly založeny na jeho předchozí analýze HRM Naše reprodukované kontrolní body modelu a pokyny k reprodukci jsou k dispozici na @huggingface

Naše poznámky: - TRM má vyšší dobu běhu než HRM, i když je menší. Naše hypotéza je, že je to způsobeno zpětným šířením, které se děje ve všech krocích, zatímco HRM dělalo pouze částečné kroky Otevřená otázka: Je TRM lepší, protože je chytřejší? Nebo proto, že trénuje déle? Pokud byste použili pevné výpočty pro oba, byl by výkon stejný?

- Je TRM podobně robustní na počet augmentací jako HRM? - Přepínání od lineárních vrstev k pozornosti je zajímavé, pozornost byla prováděna hůře při menším úkolu. Proč? Může to být výpočetně méně efektivní, ale proč je to na Maze o tolik horší?

Naše výzva pro komunitu: Rozdělte Pre-trénink a inferenci v TRM V současné době jsou v TRM spojeny předtrénování a inference. Další dávky úkolů je třeba znovu předškolit. Tento rozšířený TRM by pravděpodobně mohl běžet na Kaggle pro ARC Prize 2025

Náklady na reprodukci: * ARC-AGI-1 Veřejné: 9h 52m 6 * 2x8H100 * $8/hodina = $157.86 * ARC-AGI-1 Polosoukromý: 11h 23 m* 2x8H100 * 8 $/hodina = 176,38 $ * ARC-AGI-1 Veřejné: 9h 35m * 3x8H100 * $8/hod = $216.58 * ARC-AGI-2 Polosoukromý: 10h 30m * 3x8H100 * $8/hodina = $252