Новая статья! Что если вы могли бы гарантировать (используя сочетание формальной верификации и теории PDE), что нейронная сеть *всегда* будет давать вам правильный ответ, даже когда делает выводы на произвольном расстоянии от обучающих данных? Представляем BEACONS. Ссылка на arXiv ниже. (1/15)

В 90-х годах отличная работа была проделана Мхаскаром, Пинкусом и другими над *количественными* версиями знаменитых теорем об универсальной аппроксимации для нейронных сетей: насколько точно может поверхностная нейронная сеть с N скрытыми нейронами аппроксимировать d-мерную функцию? (3/15)

Но эти границы ошибок в худшем случае зависят от гладкости функции, которую необходимо аппроксимировать (т.е. ошибка в худшем случае масштабируется как N^(-n/d), где n — это количество непрерывных производных, которые имеет функция). Это представляет собой серьезную проблему для экстраполяции. (4/15)

Как мы можем узнать что-либо о гладкости функции, за пределами поддомена, на котором мы обучались? Это основная причина, по которой нельзя ограничить ошибки в приближениях функций нейронными сетями, находящимися далеко от выпуклой оболочки обучающих данных. (5/15)

Но с помощью BEACONS - ограниченно-ошибочных, алгебраически-композируемых нейронных решателей - мы используем тот факт, что функция, которую мы изучаем, не произвольна, а является решением уравнения в частных производных (или системы уравнений в частных производных). Поэтому мы можем применять такие методы, как метод характеристик... (6/15)

...или теоремы эллиптической регулярности для предсказания *a priori*, сколько непрерывных производных должно существовать в любом месте пространства или времени, даже на произвольно большом расстоянии от области обучения, используя аналитическую структуру самих УРЧ. Следовательно, часть "Ограниченной Ошибки". (7/15)

Но такие строгие границы можно доказать только для поверхностных нейронных сетей (с одним скрытым слоем). Что если мы хотим построить более глубокую, более выразительную архитектуру? Вот здесь и приходит в игру часть "Алгебраически-композируемый". Используя идеи из прикладной теории категорий... (8/15)

...мы показываем, как можно построить более глубокие архитектуры BEACONS в виде композиций более мелких, таким образом, чтобы границы ошибок оставались строго контролируемыми. В частности, мы "факторизуем" наше сложное решение PDE в композицию более простых функций... (9/15)

...таким образом, что большие пределы ошибок для дискретных частей решения произвольно подавляются малыми пределами ошибок для гладких, медленно изменяющихся частей решения, эффективно обобщая теорию нелинейных ограничителей потока. (10/15)

Просто укажите уравнения, которые вы хотите решить, а также гиперпараметры нейронной сети для их решения, и наша платформа автоматически генерирует высоко оптимизированный C-код для обучения и валидации архитектуры BEACONS для этих уравнений и вывода новых решений. (12/15)

Одновременно он генерирует формальные доказательства корректности для базового классического решателя, а также для решателя на основе нейронной сети с бутстрэппингом, с жесткими экстраполяционными границами на худшие ошибки L^infinity как для гладких, так и для негладких решений. (13/15)

Эти доказательства представлены в виде символического кода Racket и, следовательно, полностью исполняемы (и, следовательно, проверяемы машиной). Для различных систем как линейных, так и нелинейных уравнений мы обнаруживаем, что архитектуры BEACONS значительно превосходят традиционные нейронные сети. (14/15)

Цель состоит в том, чтобы повысить общий уровень математической строгости, лежащей в основе научного машинного обучения, поставив методы на основе нейронных сетей на равные условия с классическими численными методами и гарантируя такие свойства, как сохранение, сходимость, стабильность и корректность. (15/15)