Kertas baru! Bagaimana jika Anda dapat menjamin (menggunakan campuran verifikasi formal dan teori PDE) bahwa jaringan saraf akan *selalu* memberi Anda jawaban yang benar, bahkan ketika membuat kesimpulan secara sewenang-wenang jauh dari data pelatihan? Memperkenalkan BEACONS. tautan arXiv di bawah ini. (1/15)

Kembali pada tahun 90-an, pekerjaan yang sangat baik dilakukan oleh Mhaskar, Pinkus dan lainnya pada versi *kuantitatif* dari Teorema Perkiraan Universal yang dirayakan untuk jaringan saraf: seberapa akurat jaringan saraf dangkal dengan N neuron tersembunyi mendekati fungsi d-dimensi? (3/15)

Tetapi batas kesalahan kasus terburuk ini semuanya sangat bergantung pada kehalusan fungsi yang diperkirakan (yaitu skala kesalahan kasus terburuk seperti N^(-n/d), di mana n adalah jumlah turunan kontinu yang dimiliki fungsi). Yang menghadirkan masalah utama untuk ekstrapolasi. (4/15)

Bagaimana kita bisa tahu sesuatu tentang kelancaran suatu fungsi, di luar subdomain yang telah kita latih? Ini adalah alasan penting mengapa seseorang tidak dapat mengikat kesalahan pada perkiraan fungsi jaringan saraf yang jauh dari lambung cembung data pelatihan. (5/15)

Tetapi dengan BEACONS - Bounded-Error, Aljabarically-COmposable Neural Solvers - kami mengeksploitasi fakta bahwa fungsi yang kami pelajari tidak sewenang-wenang, melainkan solusi untuk PDE (atau sistem PDE). Jadi kita bisa menerapkan teknik seperti metode karakteristik... (6/15)

... atau teorema keteraturan elips untuk memprediksi *a priori* berapa banyak turunan kontinu yang harus ada, di mana saja dalam ruang atau waktu, bahkan secara sewenang-wenang jauh dari domain pelatihan, dengan mengeksploitasi struktur analitis PDE itu sendiri. Oleh karena itu, bagian "Bounded-Error". (15/7)

Tetapi batas ketat seperti itu hanya dapat dibuktikan untuk jaringan saraf dangkal (dengan satu lapisan tersembunyi). Bagaimana jika kita ingin membangun arsitektur yang lebih dalam dan lebih ekspresif? Di situlah bagian "Aljabar-Composable" masuk. Menggunakan ide-ide dari teori kategori terapan... (8/15)

... kami menunjukkan bagaimana mungkin untuk membangun arsitektur BEACONS yang lebih dalam sebagai komposisi yang lebih dangkal, sedemikian rupa sehingga batas kesalahan tetap dikontrol dengan ketat. Secara khusus, kami "memfaktorkan" solusi PDE kami yang rumit menjadi komposisi fungsi yang lebih sederhana... (9/15)

... sedemikian rupa sehingga batas besar pada kesalahan untuk bagian larutan yang terputus-putus secara sewenang-wenang ditekan oleh batas-batas kecil pada kesalahan untuk bagian larutan yang halus dan bervariasi secara perlahan, secara efektif menggeneralisasi teori pembatas fluks nonlinier. (10/15)

Cukup tentukan persamaan yang ingin Anda pecahkan, ditambah hiperparameter jaringan saraf untuk menyelesaikannya, dan kerangka kerja kami secara otomatis menghasilkan kode C yang sangat dioptimalkan untuk melatih dan memvalidasi arsitektur BEACONS untuk persamaan tersebut, dan menyimpulkan solusi baru. (12/15)

Secara bersamaan, ini menghasilkan bukti kebenaran formal untuk pemecah klasik yang mendasarinya, serta untuk pemecah berbasis jaringan saraf yang di-bootstrap, dengan batas ekstrapolasi yang ketat pada kesalahan L^infinity terburuk untuk solusi halus dan non-halus. (13/15)

Bukti ini direpresentasikan sebagai kode Raket simbolis, dan karenanya dapat dieksekusi sepenuhnya (dan karenanya dapat diperiksa mesin). Untuk berbagai sistem persamaan linier dan non-linier, kami menemukan bahwa arsitektur BEACONS secara dramatis mengungguli jaringan saraf tradisional. (14/15)

Tujuannya adalah untuk meningkatkan tingkat keseluruhan ketelitian matematis yang mendasari ML ilmiah, menempatkan metode berbasis jaringan saraf pada pijakan yang sama dengan metode numerik klasik, dan menjamin sifat-sifat seperti konservasi, konvergensi, stabilitas, dan kebenaran. (15/15)