Uusi paperi! Entä jos voisit taata (käyttäen muodollista varmennus- ja PDE-teoriaa), että neuroverkko *aina* antaisi oikean vastauksen, vaikka tekisit päätöksiä mielivaltaisen kaukana koulutusdatasta? Esittelyssä BEACONS. arXiv-linkki alla. (1/15)

1990-luvulla Mhaskar, Pinkus ja muut tekivät erinomaista työtä *kvantitatiivisten* versioiden parissa arvostetuista Universal Approximation Theorems -teoreemoista neuroverkoille: kuinka tarkasti matala neuroverkko, jossa on N piilotettua neuronia, voi approksimoida d-ulotteisen funktion? (3/15)

Mutta nämä pahimman tapauksen virherajat riippuvat ratkaisevasti approksimoidun funktion sileäisyydestä (eli pahimman tapauksen virheasteikot kuten N^(-n/d), missä n on funktion jatkuvien derivaattojen lukumäärä). Mikä aiheuttaa suuren ongelman ekstrapoloinnille. (4/15)

Miten voimme koskaan tietää mitään funktion sujuvuudesta sen alidomainin ulkopuolella, jolla olemme harjoitelleet? Tämä on keskeinen syy siihen, miksi virheitä ei voi rajata neuroverkkojen approksimaatioissa funktioista, jotka ovat kaukana koulutusdatan konveksista kuoresta. (5/15)

Mutta BEACONSien – rajoitetun virheen ja algebrallisesti komentautuvien hermoratkaisijoiden – avulla hyödynnämme sitä, että opittava funktio ei ole mielivaltainen, vaan ratkaisu PDE:hen (tai PDE-järjestelmään). Voimme siis soveltaa tekniikoita kuten ominaisuuksien menetelmää... (6/15)

... tai elliptisiä säännöllisyyslauseita, joilla ennustataan *a priori*, kuinka monta jatkuvaa derivaataa täytyy olla missä tahansa ajassa tai avaruudessa, jopa mielivaltaisen kaukana koulutusalueesta, hyödyntämällä PDE:iden analyyttistä rakennetta. Tästä syystä "Rajoitettu virhe" -osa. (7/15)

Mutta tällaiset tarkat rajat ovat todistettavissa vain matalille neuroverkoille (joissa on yksi piilotettu kerros). Entä jos haluamme rakentaa syvemmän, ilmeikkäämmän arkkitehtuurin? Tässä tulee kuvaan "algebrallisesti kompositiivinen" -osa. Käyttäen sovelletun kategoriateorian ideoita... (8/15)

... näytämme, kuinka on mahdollista rakentaa syvempiä BEACONS-arkkitehtuureja matalampien rakenteiden koostumuksina siten, että virherajat pysyvät tiukasti hallinnassa. Tarkemmin sanottuna "faktorisoimme" monimutkaisen PDE-ratkaisumme yksinkertaisempien funktioiden yhdistelmäksi... (9/15)

... siten, että ratkaisun epäjatkuvien osien virheiden suuret rajat vaimennetaan mielivaltaisesti pienillä rajoilla sileiden, hitaasti muuttuvien ratkaisun osien virheille, mikä käytännössä yleistää epälineaaristen virtarajoittimien teorian. (10/15)

Määritä vain haluamasi yhtälöt sekä neuroverkon hyperparametrit, joilla ne ratkaistaan, ja kehysjärjestelmämme tuottaa automaattisesti erittäin optimoidun C-koodin BEACONS-arkkitehtuurin kouluttamista ja validointia varten näille yhtälöille sekä uusien ratkaisujen päättelyyn. (12/15)

Samaan aikaan se tuottaa muodollisia oikeellisuuden todistuksia taustalla olevalle klassiselle ratkaisijalle sekä bootstrappedille neuroverkkopohjaiselle ratkaisijalle, jossa on tiukat ekstrapolotiiviset rajat pahimmille L^infinity-virheille sekä sileille että ei-sileille ratkaisuille. (13/15)

Nämä todistukset esitetään symbolisena Racket-koodina, joten ne ovat täysin suoritettavia (ja siten koneella tarkistettavissa). Monissa sekä lineaarisissa että epälineaarisissa yhtälöjärjestelmissä havaitsemme, että BEACONS-arkkitehtuurit päihittävät perinteiset neuroverkot huomattavasti. (14/15)

Tavoitteena on nostaa tieteellisen koneoppimisen matemaattisen tarkkuuden kokonaistasoa, asettamalla neuroverkkopohjaiset menetelmät samalle tasolle klassisten numeeristen menetelmien kanssa ja varmistaen ominaisuudet kuten säilyminen, konvergenssi, stabiilisuus ja oikeellisuus. (15/15)