Topik trending
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Terobosan: Pemangkasan Teoritis Game Memangkas Ukuran Jaringan Saraf Hingga 90% dengan Kehilangan Akurasi Mendekati Nol: Membuka Revolusi AI Edge!
Saya sedang menguji ini sekarang di AI lokal dan itu mencengangkan!
memperkenalkan Pemangkasan sebagai Permainan.
Equilibrium-Driven Sparsification of Neural Networks, pendekatan baru yang memperlakukan pemangkasan parameter sebagai persaingan strategis antar bobot. Metode ini secara dinamis mengidentifikasi dan menghapus koneksi yang berlebihan melalui keseimbangan teoritis permainan, mencapai kompresi besar-besaran sambil mempertahankan – dan terkadang bahkan meningkatkan – kinerja model.
Diterbitkan di arXiv beberapa hari yang lalu (Desember 2025), makalah ini menunjukkan hasil yang mengejutkan: tingkat jarang melebihi 90% dalam model skala besar dengan penurunan akurasi kurang dari 1% pada tolok ukur seperti ImageNet dan CIFAR-10. Untuk raksasa miliaran parameter, ini berarti pengurangan drastis dalam jejak memori (hingga 10x lebih kecil), kecepatan inferensi (2-5x lebih cepat pada perangkat keras standar), dan konsumsi energi – semuanya tanpa sakit kepala pelatihan ulang dari metode tradisional.
Mengapa Ini Mengubah Segalanya
Teknik pemangkasan tradisional – seperti penghapusan berbasis besaran atau berbasis gradien – sering kali berjuang dengan "penyesalan pemangkasan", di mana tangki kompresi yang agresif berkinerja, memaksa siklus penyempurnaan yang mahal. Tetapi kerangka kerja baru yang digerakkan oleh keseimbangan ini membalikkan naskah: parameter "bersaing" dalam permainan kooperatif atau non-kooperatif, di mana keseimbangan seperti Nash mengungkapkan bobot yang benar-benar tidak penting.
Hasilnya?
Sparsifikasi yang lebih bersih dan lebih stabil yang mengungguli garis dasar canggih di seluruh transformator visi, jaring konvolusional, dan bahkan arsitektur multimoda yang muncul.
Sorotan utama dari eksperimen:
• Jarang 90-95% pada ResNet-50 dengan kehilangan akurasi 1 teratas <0,5% (vs. 2-5% di SOTA sebelumnya).
• Inferensi hingga 4x lebih cepat pada GPU seluler, membuat model miliaran parameter layak untuk smartphone dan perangkat IoT.
• Ketahanan unggul: Model jarang mempertahankan kinerja di bawah pergeseran distribusi dan serangan musuh lebih baik daripada model yang padat.
Ini bukan hanya bertahap – ini adalah perubahan paradigma. Bayangkan menjalankan penalaran skala GPT di ponsel Anda, analisis video real-time pada drone, atau diagnostik perawatan kesehatan berbasis edge tanpa ketergantungan cloud.
Dengan mengurangi jejak lingkungan dari pelatihan dan inferensi besar-besaran, ini juga mengatasi krisis energi AI yang terus berkembang.
...

Teratas
Peringkat
Favorit
