Nové noviny! Co kdybyste mohli zaručit (kombinací formálního ověřování a teorie parciálních diferenciálních diferencí), že neuronová síť vám *vždy* poskytne správnou odpověď, i když děláte závěry libovolně daleko od trénovacích dat? Představujeme BEACONS. odkaz na arXiv níže. (1/15)

V 90. letech provedli Mhaskar, Pinkus a další vynikající práci na *kvantitativních* verzích oblíbených Univerzálních aproximačních vět pro neuronové sítě: jak přesně může mělká neuronová síť s N skrytými neurony přiblížit d-dimenzionální funkci? (3/15)

Tyto nejhorší chybové meznice však zásadně závisí na hladkosti aproximované funkce (tj. škály chyby v nejhorším případě jako N^(-n/d), kde n je počet spojitých derivací, které funkce má). Což představuje zásadní problém pro extrapolaci. (4/15)

Jak můžeme vůbec něco vědět o hladkosti funkce mimo poddoménu, na které jsme trénovali? To je zásadní důvod, proč nelze omezit chyby na aproximacích funkcí v neuronových sítích daleko od konvexního obalu trénovacích dat. (5/15)

Ale s BEACONS – Bounded-Error, Algebraicky COmposable Neural Solvers – využíváme fakt, že funkce, kterou se učíme, není libovolná, ale je řešením PDE (nebo systému PDE). Takže můžeme aplikovat techniky jako metoda charakteristik... (6/15)

... nebo eliptická regularita věty k předpovědi *a priori*, kolik spojitých derivací musí existovat, kdekoli v prostoru nebo čase, i libovolně daleko od trénovací domény, využitím analytické struktury samotných parciálních diferenciálních diferencí. Odtud část "Bounded-Error". (7/15)

Taková přísná omezení jsou však dokazatelná pouze pro mělké neuronové sítě (s jednou skrytou vrstvou). Co když chceme vytvořit hlubší, výraznější architekturu? A právě zde přichází na řadu část "algebraicky složené". S využitím myšlenek z aplikované teorie kategorií... (8/15)

... ukazujeme, jak je možné konstruovat hlubší architektury BEACONS jako složení mělčích architektur, tak, aby chybové meznice zůstaly přísně kontrolovány. Konkrétně "rozkladáme" naše složité řešení parciálních diferenciálních diferenciálních diferencí do složení jednodušších funkcí... (9/15)

... takovým způsobem, že velké hranice chyb pro nespojité části řešení jsou libovolně potlačeny malými hranicemi chyb pro hladké, pomalu se měnící části řešení, čímž se efektivně zobecňuje teorie nelineárních omezovačů toku. (10/15)

Stačí zadat rovnice, které chcete vyřešit, plus hyperparametry neuronové sítě, pomocí kterých je řešíte, a náš framework automaticky generuje vysoce optimalizovaný C kód pro trénování a validaci architektury BEACONS pro tyto rovnice a odvozování nových řešení. (12/15)

Současně generuje formální důkazy správnosti pro základní klasický řešič, stejně jako pro bootstrapovaný řešič založený na neuronových sítích, s přísnými extrapolačními hranicemi pro nejhorší případ L^nekonečných chyb jak pro hladká, tak nehladká řešení. (13/15)

Tyto důkazy jsou reprezentovány jako symbolický Racket kód, a proto jsou plně spustitelné (a tedy strojově kontrolovatelné). U různých systémů s lineárními i nelineárními rovnicemi zjistíme, že architektury BEACONS dramaticky překonávají tradiční neuronové sítě. (14/15)

Cílem je zvýšit celkovou úroveň matematické přísnosti, která je základem vědeckého strojového učování, postavit metody založené na neuronových sítích na stejnou úroveň s klasickými numerickými metodami a zaručit vlastnosti jako zachování, konvergenci, stabilita a správnost. (15/15)