Adam, Adam, som f.. k er Adam?

Denne artikkelen kommer med en dristig påstand! AlphaGo-øyeblikk for oppdagelse av modellarkitektur Forskerne introduserer ASI-Arch, den første kunstige superintelligensen for AI-forskning (ASI4AI), som muliggjør helautomatisert innovasjon av nevrale arkitekturer. Ingen menneskeskapt søkeplass. Ingen mennesker i loopen. 🔍 Viktige gjennombrudd for ASI-Arch: - Autonom kodegenerering og opplæring - 1 773 eksperimenter utført (20K+ GPU-timer) - 106 nye SOTA lineære oppmerksomhetsarkitekturer oppdaget - Avduket en skaleringslov for vitenskapelige oppdagelser

⏱️AI gjør verifiseringsprosessen enklere, med modeller som verifiserer bevis på få minutter. 💻 Nå har @prfsanjeevarora, @chijinML, @danqi_chen og @PrincetonPLI gitt ut Goedel Prover V2, en modell som er mer effektiv og mer nøyaktig enn noen tidligere modell. 👉

En avansert versjon av Gemini med Deep Think har offisielt oppnådd gullmedaljenivå ved den internasjonale matematikkolympiaden. 🥇 Den løste ⃣ ut av 6️⃣ eksepsjonelt vanskelige problemer, som involverte 5️algebra, kombinatorikk, geometri og tallteori. Slik gjør du det 🧵

BatchNorm vinner Test-of-Time Award på #ICML2025! 🎉 BatchNorm revolusjonerte dyp læring ved å adressere internt kovariatskifte, som kan bremse læring, begrense læringshastigheter og gjøre det vanskelig å trene dype nettverk. Ved å normalisere innganger i hver minibatch, stabiliserte og akselererte BatchNorm treningen betydelig. Det muliggjorde høyere læringshastigheter, forbedret gradientflyt og banet vei for mye dypere arkitekturer som ResNet. I tillegg til å redusere intern kovariatforskyvning, jevner BatchNorm også ut optimaliseringslandskapet og forbedrer modellgeneraliseringen, noe som gjør det til en hjørnestein i moderne nevrale nettverkstrening. Veldig velfortjent, @Sergey_xai og @ChrSzegedy!

#ICML2025 tidsprøve

Nytt @Scale_AI papir! 🌟 LLM-er trent med RL kan utnytte belønningshacks, men ikke nevne dette i CoT. Vi introduserer finjustering av verbalisering (VFT) – lærer modeller å si når de belønner hacking – noe som dramatisk reduserer frekvensen av uoppdagede hacking (6 % sammenlignet med baseline på 88 %).

en fyr laget et datasett med 50 bøker fra London 1800-1850 for LLM-opplæring. ingen moderne skjevhet. Det er faktisk superkult å se hva som kan trenes på det!

Par, et uttrykksfullt, samtidig, totalt* språk med lineære typer og full dualitet. Basert på lineær logikk og økttyper, har Par både funksjonelle og imperative funksjoner som integreres sømløst

Et kirsebær på størrelse med en melon på toppen :)