Hârtie nouă! Ce-ar fi dacă ai putea garanta (folosind un amestec de verificare formală și teoria EDP) că o rețea neuronală ți-ar da *întotdeauna* răspunsul corect, chiar și atunci când faci inferențe arbitrar de departe de datele de antrenament? Prezentăm BEACONS. Link arXiv mai jos. (1/15)

În anii '90, Mhaskar, Pinkus și alții au realizat lucrări excelente asupra unor versiuni *cantitative* ale celebrelor Teoreme Universale de Aproximare pentru rețele neuronale: cât de precis poate o rețea neuronală superficială cu N neuroni ascunși să aproximeze o funcție d-dimensională? (3/15)

Dar aceste limite de eroare în cel mai rău caz depind toate în mod crucial de netezimea funcției care se aproxima (adică scale de eroare în cel mai rău caz precum N^(-n/d), unde n este numărul de derivate continue pe care le are funcția). Ceea ce reprezintă o problemă majoră pentru extrapolare. (4/15)

Cum am putea ști vreodată ceva despre netezimea unei funcții, în afara subdomeniului pe care ne-am antrenat? Acesta este motivul esențial pentru care nu se pot limita erorile pe aproximațiile rețelelor neuronale ale funcțiilor aflate de învelișul convex al datelor de antrenament. (5/15)

Dar cu BEACONS - Solvers Neuronali cu Eroare Limitată, Rezolvatoare Algebrice - exploatăm faptul că funcția pe care o învățăm nu este arbitrară, ci este soluția unei EDP (sau a unui sistem de EDP). Deci putem aplica tehnici precum metoda caracteristicilor... (6/15)

... sau teoreme de regularitate eliptice pentru a prezice *a priori* câte derivate continue trebuie să existe, oriunde în spațiu sau timp, chiar arbitrar departe de domeniul de antrenament, exploatând structura analitică a EDP-urilor în sine. De aici și partea cu "Eroare limitată". (15/7)

Dar astfel de limite riguroase pot fi demonstrate doar pentru rețele neuronale superficiale (cu un singur strat ascuns). Ce se întâmplă dacă vrem să construim o arhitectură mai profundă, mai expresivă? Aici intervine partea "Algebraic-Composabilă". Folosind idei din teoria aplicată a categoriilor... (8/15)

... arătăm cum este posibil să se construiască arhitecturi BEACONS mai profunde ca compoziții de unele mai puțin adânci, astfel încât limitele de eroare să rămână strict controlate. Mai exact, "factorizăm" soluția noastră complicată de EDP într-o compoziție de funcții mai simple... (9/15)

... astfel încât limitele mari ale erorilor pentru părțile discontinue ale soluției să fie suprimate arbitrar de limite mici pe erorile pentru părțile netede, care variază lent ale soluției, generalizând astfel teoria limitatorilor de flux neliniari. (10/15)

Doar specifică ecuațiile pe care vrei să le rezolvi, plus hiperparametrii rețelei neuronale cu care să le rezolvi, iar cadrul nostru generează automat cod C foarte optimizat pentru antrenarea și validarea unei arhitecturi BEACONS pentru acele ecuații și deducerea de soluții noi. (12/15)

Simultan, generează demonstrații formale de corectitudine pentru solverul clasic de bază, precum și pentru solver-ul bazat pe rețele neuronale bootstrap-uri, cu limite extrapolatorii riguroase pentru erorile de L^infinit în cel mai rău caz pentru soluții netede și nenetede. (13/15)

Aceste demonstrații sunt reprezentate ca cod Racket simbolic și, prin urmare, sunt complet executabile (și, prin urmare, verificabile de mașină). Pentru o varietate de sisteme de ecuații liniare și neliniare, constatăm că arhitecturile BEACONS depășesc dramatic rețelele neuronale tradiționale. (14/15)

Scopul este de a ridica nivelul general de rigoare matematică care stă la baza ML științific, plasând metodele bazate pe rețele neuronale pe un pic de egalitate cu metodele numerice clasice și garantând proprietăți precum conservarea, convergența, stabilitatea și corectitudinea. (15/15)