Adam, Adam, som f.. k är Adam?

Detta dokument gör ett djärvt påstående! AlphaGo-ögonblick för upptäckt av modellarkitektur Forskarna introducerar ASI-Arch, den första artificiella superintelligensen för AI-forskning (ASI4AI), som möjliggör helt automatiserad innovation inom neural arkitektur. Inget mänskligt designat sökutrymme. Ingen människa i loopen. 🔍 Viktiga genombrott för ASI-Arch: - Autonom kodgenerering och träning - 1 773 experiment genomförda (20K+ GPU-timmar) - 106 nya linjära uppmärksamhetsarkitekturer för SOTA har upptäckts - Presenterade en skalningslag för vetenskapliga upptäckter

⏱️AI gör verifieringsprocessen enklare, med modeller som verifierar bevis på några minuter. 💻 Nu har @prfsanjeevarora, @chijinML, @danqi_chen och @PrincetonPLI släppt Goedel Prover V2, en modell som är effektivare och mer exakt än någon tidigare modell. 👉

En avancerad version av Gemini med Deep Think har officiellt uppnått guldmedaljnivå vid den internationella matematiska olympiaden. 🥇 Den löste 5️⃣ av 6️⃣ exceptionellt svåra problem, som involverade algebra, kombinatorik, geometri och talteori. Så här gör du 🧵

BatchNorm vinner Test-of-Time Award på #ICML2025! 🎉 BatchNorm revolutionerade djupinlärning genom att ta itu med intern kovariatförskjutning, vilket kan sakta ner inlärningen, begränsa inlärningshastigheten och göra det svårt att träna djupa nätverk. Genom att normalisera indata i varje minibatch stabiliserade och påskyndade BatchNorm träningen avsevärt. Det möjliggjorde högre inlärningshastigheter, förbättrade gradientflödet och banade väg för mycket djupare arkitekturer som ResNet. Förutom att minska den interna kovariatförskjutningen jämnar BatchNorm också ut optimeringslandskapet och förbättrar modellgeneraliseringen, vilket gör det till en hörnsten i modern träning av neurala nätverk. Mycket välförtjänt, @Sergey_xai och @ChrSzegedy!

#ICML2025 utmärkelse för tidstest

Nytt @Scale_AI papper! 🌟 LLM:er utbildade med RL kan utnyttja belöningshack men inte nämna detta i sin CoT. Vi introducerar finjustering av verbalisering (VFT) – lär modeller att säga när de belönar hackning – vilket dramatiskt minskar frekvensen av oupptäckta hackningar (6 % jämfört med baslinjen på 88 %).

en kille skapade en datauppsättning med 50 böcker från London 1800-1850 för LLM-utbildning. Ingen modern partiskhet. Det är faktiskt superhäftigt att se vad som kan tränas på den!

Par, ett uttrycksfullt, samtida, totalt* språk med linjära typer och full dualitet. Par är baserat på linjär logik och sessionstyper och har både funktionella och nödvändiga funktioner som integreras sömlöst

Ett melonstort körsbär på toppen :)