Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Jorge Bravo Abad
Prof. Fisika @UAM_Madrid | Profesor. PI dari AI untuk Lab Material | Direktur AI untuk Laboratorium Material.
Ruang lentur agar sesuai dengan energi: bagaimana geometri mendapatkan prediksi struktur molekul dengan akurasi kimia
Mprediksi struktur 3D molekul—di mana tepatnya setiap atom berada di ruang angkasa—adalah dasar untuk kimia komputasi. Salah sedikit, dan perhitungan energi Anda bisa banyak meleset. Standar emas adalah teori fungsional kepadatan, tetapi DFT lambat dan mahal. Pembelajaran mesin menawarkan rute yang lebih cepat: latih model untuk menghilangkan tebakan awal kasar menjadi struktur yang akurat.
Masalahnya adalah bahwa sebagian besar model denoising beroperasi di ruang Euclidean biasa, di mana semua arah diperlakukan sama. Tetapi molekul tidak bekerja seperti itu. Meregangkan ikatan membutuhkan energi yang jauh lebih banyak daripada berputar di sekitarnya. Jarak yang sama dalam koordinat Cartesian tidak berarti perubahan energi yang sama.
Jeheon Woo dan rekan penulis membahas ketidakcocokan ini secara langsung. Mereka membangun manifold Riemannian—ruang melengkung dengan metrik yang bergantung pada posisi—yang dirancang sedemikian rupa sehingga jarak geodesik berkorelasi dengan perbedaan energi. Metrik dibangun dari koordinat internal yang diinformasikan fisika yang membebani jarak antaratomik dengan berapa banyak energi yang dibutuhkan untuk mengubahnya: ikatan kaku lebih penting daripada torsi lunak. Ketika mereka membandingkan jarak geodesik dengan RMSD standar, korelasi dengan energi melonjak dari 0,37 menjadi 0,90.
Melatih model denoising pada ruang melengkung ini mengubah apa yang dipelajari model. Dalam ruang Euclidean, menambahkan kebisingan isotropik dapat memutus ikatan atau menciptakan geometri yang mustahil—struktur ratusan kkal/mol di atas minimum. Pada manifold Riemannian, besaran kebisingan yang sama menjaga molekul secara kimiawi masuk akal, tetap dalam sumur potensial yang sama. Jalur denoising itu sendiri mengikuti geodesik yang melacak minimalisasi energi, bukan garis lurus sewenang-wenang melalui ruang Cartesian.
Hasilnya mencapai ambang batas yang penting: akurasi kimia, didefinisikan sebagai kesalahan energi di bawah 1 kkal/mol. Pada tolok ukur QM9, model Riemannian mencapai kesalahan median 0,177 kkal/mol—kira-kira 20× lebih baik daripada struktur awal medan gaya dan secara signifikan lebih baik daripada versi Euclidean. Ketika prediksi ini digunakan sebagai titik awal untuk penyempurnaan DFT, biaya komputasi turun lebih dari setengahnya.
Poin yang lebih dalam: dalam pemodelan molekuler, geometri ruang representasi tidak netral. Ruang Euclidean memperlakukan semua perpindahan atom sebagai setara; Ruang Riemannian dapat mengkodekan fisika. Ketika Anda menyelaraskan jarak geometris dengan biaya energik, penghilangan kebisingan menjadi pengoptimalan, dan model belajar mengikuti permukaan energi potensial daripada melawannya.
Kertas:

23
Membuka kunci model pondasi sel tunggal dengan parameter 96% lebih sedikit
Model bahasa besar sel tunggal (scLLM) telah mempelajari pengetahuan biologis yang luar biasa dari jutaan sel. Tetapi mereka memiliki kelemahan kritis: membawa mereka keluar dari konteks pelatihan mereka—penyakit baru, spesies yang tidak terlihat, populasi sel yang tidak dicirikan—dan prediksi mereka menjadi tidak dapat diandalkan.
Perbaikan standar adalah penyetelan halus. Tetapi penyetelan halus menimpa parameter model asli, menyebabkan "kelupaan bencana" dari pengetahuan biologis yang telah dipelajari sebelumnya. Dan itu mahal secara komputasi, membutuhkan sumber daya GPU yang besar yang tidak dimiliki banyak peneliti.
Fei He dan rekan penulis mengusulkan scPEFT—kerangka kerja penyetelan halus yang efisien parameter yang membekukan tulang punggung scLLM asli dan hanya melatih adaptor kecil berdimensi rendah. Empat jenis adaptor (adaptor token, adaptor awalan, LoRA, adaptor Encoder) masuk ke bagian yang berbeda dari arsitektur model, mempelajari penyesuaian khusus tugas tanpa menyentuh bobot yang telah dilatih sebelumnya.
Peningkatan efisiensinya sangat mencolok: scPEFT mengurangi parameter yang dapat dilatih lebih dari 96% dan mengurangi penggunaan memori GPU lebih dari setengahnya. Tapi inilah yang penting—itu benar-benar berkinerja lebih baik daripada penyempurnaan penuh. Pada kumpulan data khusus penyakit (NSCLC, MS, COVID-19), scPEFT mencapai peningkatan akurasi 39,7–81,7% dibandingkan model asli dan keuntungan 4,3–15% dibandingkan versi yang disesuaikan, justru karena mempertahankan daripada menimpa pengetahuan yang telah dilatih sebelumnya.
Kerangka kerja ini juga memungkinkan transfer lintas spesies dari model yang dilatih manusia: peningkatan 14% pada neuron tikus, 39% pada sel germinal kera, dan 144% pada C. elegans — semuanya menggunakan pemetaan gen ortolog. Analisis perhatian mengidentifikasi gen terkait COVID dalam keadaan sel T tertentu dan mengungkap subpopulasi yang relevan secara biologis yang tidak terlihat oleh model yang disetel dengan baik.
Implikasi yang lebih luas: ketika model fondasi berkembang biak di seluruh biologi, kita membutuhkan cara yang efisien untuk menyesuaikannya tanpa menghancurkan apa yang telah mereka pelajari. scPEFT menunjukkan bahwa terkadang, memperbarui lebih sedikit berarti belajar lebih banyak.
Kertas:

41
Arsitektur yang terinspirasi ilmu saraf untuk membangun AI yang benar-benar adaptif
Sistem AI modern kuat tetapi rapuh. Latih model, terapkan, dan saksikan performa menurun saat dunia bergeser. Latih ulang pada data baru, dan model melupakan apa yang diketahuinya. Siklus ini menghasilkan sistem yang unggul dalam tolok ukur statis tetapi berjuang dengan adaptasi berkelanjutan — sesuatu yang ditangani oleh kecerdasan biologis dengan mudah.
Seekor tikus dapat belajar menemukan air di labirin baru dalam kira-kira sepuluh percobaan, tingkat belajar 1.000 kali lebih cepat daripada tugas laboratorium tradisional. Namun jaringan saraf kita yang paling canggih menderita kelupaan bencana ketika diminta untuk belajar secara berurutan.
Otak menawarkan arsitektur yang berbeda. Ini beroperasi bukan sebagai jaringan kusut tunggal tetapi sebagai modul khusus yang saling berhubungan dengan cerdas—tepi pemrosesan korteks visual, komputasi korteks motorik dalam ruang gaya, wilayah prefrontal yang melacak memori terstruktur tugas. Setiap modul membangun model internal yang diperbarui melalui kesalahan prediksi ketika hasil yang diharapkan menyimpang dari kenyataan. Sinyal pengajaran yang ditandatangani ini sekarang telah ditemukan di seluruh sirkuit sensorik, motorik, dan penghargaan.
Mackenzie Weygandt Mathis mensintesis wawasan ini menjadi proposal untuk AI agen adaptif. Alih-alih mengejar model fondasi monolitik yang semakin besar, dia berpendapat untuk sistem encoder khusus domain yang outputnya dioptimalkan bersama dalam ruang laten bersama. Setiap encoder dipantau oleh sinyal kesalahan prediksi—encoder yang kuat tetap "terkunci" sementara yang menunjukkan kinerja yang menurun akan "tidak terkunci" untuk pembelajaran berkelanjutan menggunakan pemutaran ulang memori atau kecerdasan sinaptik, tanpa membuat seluruh sistem offline.
Prinsip yang lebih luas: dengan menyusun AI di sekitar modularitas yang terinspirasi ilmu saraf dan pembaruan berbasis kesalahan prediksi daripada skala monolitik, menjadi mungkin untuk bergerak melampaui model statis menuju kecerdasan yang benar-benar adaptif—sistem yang terus menyempurnakan model dunia mereka melalui interaksi dengannya.
Kertas:

66
Teratas
Peringkat
Favorit
