新しい新聞だ! もし(形式的検証とPDE理論を組み合わせて)ニューラルネットワークが*常に*正しい答えを出すことを保証できたら、たとえ訓練データから任意に遠く離れた推論をしても、 ビーコンズの紹介です。以下にarXivのリンクがあります。(1/15)

90年代には、ムハスカー、ピンクスらが神経ネットワークの人気の普遍近似定理の*定量的*バージョンで優れた研究を行いました。N個の隠れたニューロンを持つ浅いニューラルネットワークがd次元関数をどれほど正確に近似できるのか?(3/15)

しかし、これらの最悪ケース誤差界はすべて、近似される関数の滑らかさ(すなわちN^(-n/d)のような最悪ケース誤差スケール、nは関数の連続微分の数)に大きく依存します。これは外挿に大きな問題をもたらします。(4/15)

私たちが訓練した部分ドメイン以外で、関数の滑らかさについてどうやって知ることができるのでしょうか?これが、訓練データの凸包から遠く離れた関数のニューラルネットワーク近似において誤差を制限できない根本的な理由です。(5/15)

しかしBEACONS(有界誤差、代数的に可換算なニューラルソルバー)では、私たちが学ぶ関数が恣意的なものではなく、偏微分方程式(またはPDE系)の解であるという事実を利用しています。だから特徴の方法のような技術を応用できる...(6/15)

...あるいは楕円正則性定理を用いて、偏微分方程式自体の解析構造を利用して、空間や時間のどこにでも、たとえ訓練領域から任意に遠く離れた場所でも存在しなければならない連続微分の数を事前に予測する。これが「有界誤差」の部分です。(7/15)

しかし、そのような厳密な境界は、単一の隠れ層を持つ浅いニューラルネットワークでのみ証明可能です。もしより深く表現力豊かな建築を構築したいとしたら?ここで「代数的可組合化」の部分が関わってきます。応用圏論のアイデアを用いて...(8/15)

...より深いビーコンアーキテクチャを浅いものの合成として構築し、誤差境界を厳密に制御する方法を示します。具体的には、複雑な偏微分方程式解をより単純な関数の合成に「因数分解」します...(9/15)

...解の不連続部分の誤差の大きな限界が、滑らかでゆっくり変化する部分の誤差の小さい限界によって任意に抑制され、非線形フラックスリミッター理論を効果的に一般化する。(10/15)

解きたい方程式とそれを解くためのニューラルネットワークのハイパーパラメータを指定するだけで、フレームワークは自動的に高度に最適化されたCコードを生成し、それらの方程式のBEACONSアーキテクチャの学習・検証、そして新しい解を推論します。(12/15)

同時に、基盤となる古典ソルバーおよびブートストラップニューラルネットワークベースのソルバーに対して、滑らか解と非滑らか解の両方で最悪の場合のL^無限誤差に対して厳密な外推的限界を持つ形式的な正当性の証明を生成します。(13/15)

これらの証明は記号的なRacketコードとして表現され、完全に実行可能(したがって機械チェック可能)です。線形・非線形の方程式系の両方において、BEACONSアーキテクチャは従来のニューラルネットワークを劇的に上回る性能を示していることがわかりました。(14/15)

この目的は、科学的機械学習の基礎となる数学的厳密性の総合レベルを高め、ニューラルネットワークベースの手法を古典的な数値手法と同等に位置づけ、保存性、収束性、安定性、正確性といった特性を保証することです。(15/15)