Adam, Adam, wie de f..k is Adam?

Dit artikel doet een gedurfde uitspraak! AlphaGo-moment voor modelarchitectuurontdekking De onderzoekers introduceren ASI-Arch, de eerste Kunstmatige Superintelligentie voor AI-onderzoek (ASI4AI), die volledig geautomatiseerde innovatie van neurale architecturen mogelijk maakt. Geen door mensen ontworpen zoekruimte. Geen mens in de lus. 🔍 Belangrijke doorbraken van ASI-Arch: - Autonome codegeneratie en training - 1.773 uitgevoerde experimenten (20K+ GPU-uren) - 106 nieuwe SOTA-lineaire aandachtarchitecturen ontdekt - Een schaalwet voor wetenschappelijke ontdekking onthuld

⏱️AI maakt het verificatieproces gemakkelijker, met modellen die bewijzen in enkele minuten verifiëren. 💻 Nu hebben @prfsanjeevarora, @chijinML, @danqi_chen en @PrincetonPLI Goedel Prover V2 uitgebracht, een model dat efficiënter en nauwkeuriger is dan elk eerder model. 👉

Een geavanceerde versie van Gemini met Deep Think heeft officieel een gouden medaille-niveau prestatie behaald op de Internationale Wiskunde Olympiade. 🥇 Het heeft 5️⃣ van de 6️⃣ uitzonderlijk moeilijke problemen opgelost, waaronder algebra, combinatoriek, geometrie en getaltheorie. Hier is hoe 🧵

BatchNorm wint de Test-of-Time Award op #ICML2025! 🎉 BatchNorm heeft deep learning revolutionair veranderd door de interne covariate verschuiving aan te pakken, wat het leren kan vertragen, de leersnelheden beperkt en het moeilijk maakt om diepe netwerken te trainen. Door de invoer binnen elke mini-batch te normaliseren, stabiliseerde en versnelde BatchNorm de training aanzienlijk. Het maakte hogere leersnelheden mogelijk, verbeterde de gradientflow en effende de weg voor veel diepere architecturen zoals ResNet. Naast het verminderen van de interne covariate verschuiving, maakt BatchNorm ook het optimalisatielandschap gladder en verbetert het de generalisatie van modellen, waardoor het een hoeksteen is van moderne training van neurale netwerken. Zeer verdiend, @Sergey_xai en @ChrSzegedy!

#ICML2025 test of time award

Nieuwe @Scale_AI paper! 🌟 LLM's die met RL zijn getraind, kunnen beloningshacks benutten, maar vermelden dit niet in hun CoT. We introduceren verbalization fine-tuning (VFT)—het leren aan modellen om te zeggen wanneer ze beloningshacken—wat de kans op onopgemerkte hacks dramatisch vermindert (6% versus een basislijn van 88%).

een man heeft een dataset van 50 boeken uit Londen van 1800-1850 gemaakt voor LLM-training. geen moderne bias. het is eigenlijk super gaaf om te zien wat erop getraind kan worden!

Par, een expressieve, gelijktijdige, totale* taal met lineaire types en volledige dualiteit. Gebaseerd op Lineaire Logica en Sessie Types, heeft Par zowel functionele als imperatieve kenmerken die naadloos integreren.

Een meloen-groot kersje bovenop :)