Adam, Adam, chi diavolo è Adam?

Questo documento fa un'affermazione audace! Momento AlphaGo per la scoperta dell'architettura dei modelli I ricercatori introducono ASI-Arch, la prima Superintelligenza Artificiale per la Ricerca AI (ASI4AI), che consente un'innovazione completamente automatizzata dell'architettura neurale. Nessuno spazio di ricerca progettato da esseri umani. Nessun umano nel processo. 🔍 Principali scoperte di ASI-Arch: - Generazione e addestramento autonomi del codice - 1.773 esperimenti condotti (oltre 20.000 ore GPU) - 106 nuove architetture di attenzione lineare SOTA scoperte - Svelata una legge di scalabilità per la scoperta scientifica

⏱️L'IA sta rendendo il processo di verifica più semplice, con modelli che verificano le prove in pochi minuti. 💻 Ora, @prfsanjeevarora, @chijinML, @danqi_chen e @PrincetonPLI hanno rilasciato Goedel Prover V2, un modello più efficiente e più preciso di qualsiasi modello precedente. 👉

Una versione avanzata di Gemini con Deep Think ha ufficialmente raggiunto prestazioni da medaglia d'oro all'Olimpiade Internazionale di Matematica. 🥇 Ha risolto 5️⃣ su 6️⃣ problemi eccezionalmente difficili, che coinvolgono algebra, combinatoria, geometria e teoria dei numeri. Ecco come 🧵

BatchNorm vince il Test-of-Time Award all'#ICML2025! 🎉 BatchNorm ha rivoluzionato il deep learning affrontando il cambiamento di covariate interne, che può rallentare l'apprendimento, limitare i tassi di apprendimento e rendere difficile l'addestramento di reti profonde. Normalizzando gli input all'interno di ogni mini-batch, BatchNorm ha stabilizzato e accelerato significativamente l'addestramento. Ha permesso tassi di apprendimento più elevati, migliorato il flusso del gradiente e aperto la strada a architetture molto più profonde come ResNet. Oltre a ridurre il cambiamento di covariate interne, BatchNorm rende anche più fluido il paesaggio di ottimizzazione e migliora la generalizzazione del modello, rendendolo un pilastro dell'addestramento moderno delle reti neurali. Ben meritato, @Sergey_xai e @ChrSzegedy!

#ICML2025 premio per il test del tempo

Nuovo documento di @Scale_AI! 🌟 I LLM addestrati con RL possono sfruttare le tecniche di ricompensa ma non menzionano questo nel loro CoT. Introduciamo il fine-tuning della verbalizzazione (VFT)—insegnare ai modelli a dire quando stanno sfruttando le ricompense—riducendo drasticamente il tasso di hack non rilevati (6% rispetto a un baseline dell'88%).

un ragazzo ha creato un dataset di 50 libri da Londra 1800-1850 per l'addestramento di LLM. nessun pregiudizio moderno. è davvero super interessante vedere cosa si può addestrare su di esso!

Par, an expressive, concurrent, total* language with linear types and full duality. Based on Linear Logic and Session Types, Par has both functional and imperative features integrating seamlessly

Una ciliegia delle dimensioni di un melone sopra :)