Yeni bir kağıt! Ya (resmi doğrulama ve PDE teorisinin karışımı olarak) bir sinir ağının size *her zaman* doğru cevabı vereceğini garanti edebilseydiniz, hatta eğitim verisinden keyfi olarak uzak çıkarımlar yapsanız bile? BEACONS'u tanıtıyoruz. arXiv bağlantısı aşağıda. (1/15)

90'larda Mhaskar, Pinkus ve diğerleri tarafından sinir ağları için ünlü Evrensel Yaklaşım Teoremlerinin *nicel* versiyonları üzerinde mükemmel çalışmalar yapıldı: N gizli nörona sahip sığ bir sinir ağı, d-boyutlu bir fonksiyonu ne kadar doğru yaklaştırabilir? (3/15)

Ancak bu en kötü durum hata sınırları, yaklaştırılan fonksiyonun düzgünlüğüne çok bağlıdır (yani en kötü durum hata ölçekleri, örneğin N^(-n/d), burada n fonksiyonun sahip olduğu sürekli türevlerin sayısıdır). Bu da ekstrapolasyon için büyük bir sorun yaratır. (4/15)

Bir fonksiyonun akıcılığı hakkında, eğitim aldığımız alt alan dışında nasıl bir şey bilebiliriz? Bu, eğitim verisinin konveks gövdesinden uzak fonksiyonların sinir ağı yaklaşımlarında hataların sınırlandırılamamasının temel nedenidir. (5/15)

Ancak BEACONS - Sınırlı Hatalı, Cebirsel Olarak Toplanabilir Sinir Çözücüleri - ile öğrendiğimiz fonksiyonun keyfi olmadığını, aksine bir PDE'nin (veya PDE'ler sistemi) çözümü olduğunu kullanıyoruz. Yani karakteristik yöntemler gibi teknikleri uygulayabiliriz... (6/15)

... veya PDE'lerin analitik yapısından faydalanarak, uzay veya zaman içinde herhangi bir yerde, hatta eğitim alanından keyfi olarak uzakta olan her yerde *a priori* sürekli türevin var olması gerektiğini öngören eliptik düzenlilik teoremleri. Bu nedenle, "Sınırlı Hata" kısmı ortaya çıktı. (15/7)

Ancak bu kadar katı sınırlar yalnızca sığ sinir ağları (tek bir gizli katmanla) için kanıtlanabilir. Ya daha derin, daha ifade edici bir mimari inşa etmek istersek? İşte burada "Cebirsel olarak Birleştirilebilir" kısmı devreye giriyor. Uygulamalı kategori teorisinden fikirler kullanılarak... (8/15)

... daha derin BEACON mimarilerini, hata sınırlarının sıkı kontrol altında kalacağı şekilde daha sığ mimarilerden oluşan bileşimler olarak nasıl inşa edilebileceğini gösteriyoruz. Özellikle, karmaşık PDE çözümümüzü daha basit fonksiyonlardan oluşan bir bileşime "çarpanlaştırıyoruz"... (9/15)

... Çözümün kesintisiz kısımları için hataların büyük sınırları, düzgün ve yavaş değişen çözümlerin hatalarına küçük sınırlarla keyfi olarak bastırılır ve doğrusal olmayan akı sınırlayıcılarının teorisini etkili bir şekilde genelleştirir. (10/15)

Çözmek istediğiniz denklemleri ve bunları çözmek için sinir ağı hiperparametrelerini belirtin, ve bizim çerçevemiz otomatik olarak bu denklemler için BEACONS mimarisi eğitmek ve doğrulamak ve yeni çözümler çıkarmak için yüksek optimize edilmiş C kodu üretir. (12/15)

Aynı zamanda, hem temel klasik çözücü hem de önyüklemeli sinir ağı tabanlı çözücü için doğruluğun resmi ispatlarını üretir ve hem düzgün hem de düzgün olmayan çözümler için en kötü durum L^sonsuzluk hatalarına katı ekstrapolasyon sınırları ekler. (13/15)

Bu ispatlar sembolik raket kodu olarak temsil edilir ve bu nedenle tamamen çalıştırılabilir (ve dolayısıyla makine tarafından kontrol edilebilir). Hem lineer hem de doğrusal olmayan denklem sistemlerinin çeşitli örneklerinde, BEACONS mimarilerinin geleneksel sinir ağlarını dramatik şekilde geride bıraktığını görüyoruz. (14/15)

Amaç, bilimsel makine öğreniminin temelinde duran matematiksel titizlik seviyesini yükseltmek, sinir ağı tabanlı yöntemleri klasik sayısal yöntemlerle eşit konuma getirmek ve koruma, yakınsama, kararlılık ve doğruluk gibi özellikleri garanti etmektir. (15/15)