Nowy artykuł! Co jeśli moglibyście zagwarantować (używając mieszanki formalnej weryfikacji i teorii PDE), że sieć neuronowa *zawsze* poda wam poprawną odpowiedź, nawet gdy dokonuje wniosków w sposób arbitralny daleko od danych treningowych? Przedstawiamy BEACONS. Link do arXiv poniżej. (1/15)

W latach 90-tych doskonała praca została wykonana przez Mhaskara, Pinkusa i innych nad *ilościowymi* wersjami słynnych Twierdzeń o Uniwersalnej Aproksymacji dla sieci neuronowych: jak dokładnie może płytka sieć neuronowa z N ukrytymi neuronami aproksymować funkcję w d-wymiarze? (3/15)

Jednak te najgorsze granice błędów zależą w dużej mierze od gładkości funkcji, która jest aproksymowana (tzn. najgorszy błąd skaluje się jak N^(-n/d), gdzie n to liczba ciągłych pochodnych, które ma funkcja). Co stanowi poważny problem dla ekstrapolacji. (4/15)

Jak możemy kiedykolwiek cokolwiek wiedzieć o gładkości funkcji, poza poddziedziną, na której się uczyliśmy? To jest zasadniczy powód, dla którego nie można ograniczyć błędów w przybliżeniach funkcji przez sieci neuronowe daleko od wypukłej otoczki danych treningowych. (5/15)

Jednak z BEACONS - Bounded-Error, Algebraically-COmposable Neural Solvers - wykorzystujemy fakt, że funkcja, której się uczymy, nie jest dowolna, lecz jest rozwiązaniem PDE (lub systemu PDE). Możemy więc zastosować techniki takie jak metoda cech... (6/15)

...lub twierdzenia o regularności eliptycznej, aby przewidzieć *a priori*, ile ciągłych pochodnych musi istnieć, wszędzie w przestrzeni lub czasie, nawet w dowolnie dużej odległości od obszaru treningowego, wykorzystując analityczną strukturę samych PDE. Stąd część "Ograniczonego błędu". (7/15)

Jednak takie rygorystyczne ograniczenia można udowodnić tylko dla płytkich sieci neuronowych (z jedną warstwą ukrytą). Co jeśli chcemy zbudować głębszą, bardziej ekspresyjną architekturę? Właśnie tutaj wchodzi w grę część "Algebraically-Composable". Wykorzystując pomysły z zastosowanej teorii kategorii... (8/15)

...pokazujemy, jak możliwe jest skonstruowanie głębszych architektur BEACONS jako kompozycji płytszych, w taki sposób, aby granice błędów pozostały ściśle kontrolowane. W szczególności "faktoryzujemy" nasze skomplikowane rozwiązanie PDE w kompozycję prostszych funkcji... (9/15)

...w taki sposób, że duże ograniczenia błędów dla nieciągłych części rozwiązania są arbitralnie tłumione przez małe ograniczenia błędów dla gładkich, wolno zmieniających się części rozwiązania, skutecznie uogólniając teorię nieliniowych ograniczników strumienia. (10/15)

Po prostu określ równania, które chcesz rozwiązać, oraz hiperparametry sieci neuronowej, które chcesz użyć do ich rozwiązania, a nasza platforma automatycznie generuje wysoko zoptymalizowany kod C do trenowania i walidacji architektury BEACONS dla tych równań oraz wnioskowania nowych rozwiązań. (12/15)

Jednocześnie generuje formalne dowody poprawności dla podstawowego klasycznego rozwiązania, a także dla opartego na sieciach neuronowych rozwiązania z bootstrappingiem, z rygorystycznymi granicami ekstrapolacyjnymi na najgorsze błędy L^infinity zarówno dla rozwiązań gładkich, jak i niegładkich. (13/15)

Te dowody są reprezentowane jako symboliczny kod Racket, a zatem są w pełni wykonywalne (a zatem możliwe do sprawdzenia przez maszyny). W przypadku różnych systemów równań zarówno liniowych, jak i nieliniowych, stwierdzamy, że architektury BEACONS znacznie przewyższają tradycyjne sieci neuronowe. (14/15)

Celem jest podniesienie ogólnego poziomu rygoru matematycznego leżącego u podstaw naukowego ML, stawiając metody oparte na sieciach neuronowych na równi z klasycznymi metodami numerycznymi oraz gwarantując właściwości takie jak zachowanie, zbieżność, stabilność i poprawność. (15/15)