Idag presenterar vi ARC Prize Verified, ett program för att öka noggrannheten i utvärderingen av gränssystem på ARC-AGI Detta program lägger till en akademisk panel från tredje part för att granska vår testprocess Vi välkomnar också 5 nya AI-labb som sponsorer av ARC-AGI-3
ARC-prisets akademiska revisionsprogram Vi är glada över att välkomna fyra akademiska rådgivare för att förbättra vår testprocess. De kommer att: - Tillhandahålla extern tillsyn av vårt dolda testuppsättningsprotokoll - Granska och verifiera våra testmetoder - Medförfattare av metodtips för benchmark-testning
De som ansluter sig till panelen idag är: - Todd Gureckis (professor i psykologi vid NYU) - Guy Van den Broeck (professor i datavetenskap vid UCLA) - Melanie Mitchell (professor vid Santa Fe Institute) - Vishal Misra (vice dekanus för databehandling och AI vid Columbia)
Vi välkomnar 5 labbsponsorer Vi är glada över att kunna tillkännage våra första externa laboratoriebidrag, begränsade medel dedikerade till att främja kvaliteten på ARC-AGI-3 @ndea @xai @Googleorg @NousResearch @PrimeIntellect
Märke för verifierat ARC-pris Många organisationer är angelägna om att testa på ARC-AGI, men självrapporterade resultat varierar i testkonsistens Endast resultat som utvärderas på vår dolda testuppsättning kommer att erkännas som verifierade prestandaresultat Ett nytt ARC Prize Verified Badge kommer att beteckna dessa
176