Nytt papir! Hva om du kunne garantere (ved å bruke en blanding av formell verifisering og PDE-teori) at et nevralt nettverk *alltid* ville gi deg det riktige svaret, selv når du trekker slutninger som er vilkårlig langt unna treningsdataene? Vi introduserer BEACONS. arXiv-lenke nedenfor. (1/15)

På 90-tallet ble det gjort utmerket arbeid av Mhaskar, Pinkus og andre på *kvantitative* versjoner av de berømte universelle tilnærmingsteoremer for nevrale nettverk: hvor nøyaktig kan et grunt nevralt nettverk med N skjulte nevroner tilnærme en d-dimensjonal funksjon? (3/15)

Men disse verste tilfelle-feilgrensene avhenger alle avgjørende av glattheten til funksjonen som tilnærmes (dvs. verste-tilfelle-feilskalaer som N^(-n/d), hvor n er antallet kontinuerlige deriverte funksjonen har). Dette utgjør et stort problem for ekstrapolering. (4/15)

Hvordan kan vi noen gang vite noe om glattheten til en funksjon, utenfor deldomenet vi har trent på? Dette er den grunnleggende grunnen til at man ikke kan begrense feil på nevrale nettverkstilnærminger av funksjoner langt fra den konvekse rammen til treningsdataene. (5/15)

Men med BEACONS – Bounded-Error, Algebraically-COmposable Neural Solvers – utnytter vi det faktum at funksjonen vi lærer ikke er vilkårlig, men snarere løsningen på en PDE (eller system av PDE-er). Så vi kan bruke teknikker som metoden for karakteristiske egenskaper... (6/15)

... eller elliptiske regularitetsteoremer for å forutsi *a priori* hvor mange kontinuerlige deriverte som må eksistere, hvor som helst i rom eller tid, selv vilkårlig langt fra treningsdomenet, ved å utnytte den analytiske strukturen til PDE-ene selv. Derfor delen om "Bounded-Error". (15.7)

Men slike strenge grenser kan bare bevises for grunne nevrale nettverk (med ett enkelt skjult lag). Hva om vi ønsker å bygge en dypere, mer uttrykksfull arkitektur? Det er her delen «algebraisk sammensponerbar» kommer inn. Ved å bruke ideer fra anvendt kategoriteori... (8/15)

... vi viser hvordan det er mulig å konstruere dypere BEACONS-arkitekturer som sammensetninger av grunnere arkitekturer, slik at feilgrensene forblir strengt kontrollert. Spesifikt «faktoriserer» vi vår kompliserte PDE-løsning til en sammensetning av enklere funksjoner... (9/15)

... på en slik måte at de store grensene for feilene for diskontinuerlige deler av løsningen vilkårlig undertrykkes av små grenser for feilene for glatte, sakte-varierende deler av løsningen, noe som effektivt generaliserer teorien om ikke-lineære fluksbegrensere. (10/15)

Bare spesifiser ligningene du vil løse, pluss nevrale nettverkshyperparametere for å løse dem, og rammeverket vårt genererer automatisk høyt optimalisert C-kode for trening og validering av en BEACONS-arkitektur for disse ligningene, og for å utlede nye løsninger. (12/15)

Samtidig genererer den formelle korrekthetsbevis for den underliggende klassiske løseren, samt for den bootstrappede nevrale nettverksbaserte løseren, med strenge ekstrapolatoriske grenser for de verste L^infinity-feilene for både glatte og ikke-glatte løsninger. (13/15)

Disse bevisene representeres som symbolsk Racket-kode, og er derfor fullt kjørbare (og dermed maskinkontrollerbare). For en rekke både lineære og ikke-lineære ligningssystemer finner vi at BEACONS-arkitekturer dramatisk overgår tradisjonelle nevrale nettverk. (14/15)

Målet er å heve det overordnede nivået av matematisk grundighet som ligger til grunn for vitenskapelig maskinlæring, ved å sette nevrale nettverksbaserte metoder på lik linje med klassiske numeriske metoder, og garantere egenskaper som bevaring, konvergens, stabilitet og korrekthet. (15/15)