Сгибание пространства для соответствия энергии: как геометрия помогает предсказанию молекулярной структуры с химической точностью Предсказание 3D-структуры молекулы — где именно находится каждый атом в пространстве — является основополагающим для вычислительной химии. Если вы ошибетесь хоть немного, ваши расчеты энергии могут оказаться значительно неверными. Золотым стандартом является теория функционала плотности, но DFT медлительна и дорогостоящая. Машинное обучение предлагает более быстрый путь: обучить модель, чтобы она устраняла шум из грубого первоначального предположения и превращала его в точную структуру. Проблема в том, что большинство моделей устранения шума работает в обычном евклидовой пространстве, где все направления рассматриваются одинаково. Но молекулы не работают таким образом. Увеличение длины связи требует гораздо больше энергии, чем вращение вокруг нее. Равные расстояния в декартовых координатах не означают равные изменения энергии. Джехон У и соавторы напрямую решают эту несоответствие. Они строят риманову многообразие — изогнутое пространство с зависимой от положения метрикой — так, чтобы геодезическое расстояние коррелировало с разницей энергии. Метрика строится из физически обоснованных внутренних координат, которые взвешивают межатомные расстояния в зависимости от того, сколько энергии требуется для их изменения: жесткие связи учитываются больше, чем мягкие торсии. Когда они сравнивают геодезическое расстояние с обычным RMSD, корреляция с энергией увеличивается с 0.37 до 0.90. Обучение модели устранения шума в этом изогнутом пространстве изменяет то, что модель изучает. В евклидовой пространстве добавление изотропного шума может разрывать связи или создавать невозможные геометрии — структуры на сотни kcal/mol выше минимума. На римановом многообразии та же величина шума сохраняет молекулы химически разумными, оставаясь в пределах одного и того же потенциального колодца. Путь устранения шума сам следует геодезическим, которые отслеживают минимизацию энергии, а не произвольные прямые линии через декартово пространство. Результаты достигают порога, который имеет значение: химическая точность, определяемая как ошибка энергии ниже 1 kcal/mol. На контрольном тесте QM9 римановая модель достигает медианной ошибки 0.177 kcal/mol — примерно в 20 раз лучше, чем начальные структуры силового поля и значительно лучше, чем евклидова версия. Когда эти предсказания используются в качестве начальных точек для уточнения DFT, вычислительная стоимость снижается более чем вдвое. Глубокая мысль: в молекулярном моделировании геометрия пространства представления не является нейтральной. Евклидово пространство рассматривает все атомные смещения как эквивалентные; риманово пространство может кодировать физику. Когда вы выравниваете геометрическое расстояние с энергетической стоимостью, устранение шума становится оптимизацией, и модель учится следовать поверхности потенциальной энергии, а не бороться с ней. Статья:

Разблокировка моделей оснований на уровне отдельных клеток с 96% меньшим количеством параметров Модели больших языков на уровне отдельных клеток (scLLMs) усвоили замечательные биологические знания из миллионов клеток. Но у них есть критическая слабость: если их вынести из контекста обучения — новая болезнь, невиданное видовое разнообразие, неохарактеризованная клеточная популяция — их предсказания становятся ненадежными. Стандартное решение — дообучение. Но дообучение перезаписывает оригинальные параметры модели, вызывая "катастрофическое забывание" заранее усвоенных биологических знаний. И это требует значительных вычислительных ресурсов, которые у многих исследователей просто нет. Фэй Хэ и соавторы предлагают scPEFT — эффективную в плане параметров структуру дообучения, которая замораживает оригинальный каркас scLLM и обучает только небольшие, низкоразмерные адаптеры. Четыре типа адаптеров (Token adapter, Prefix adapter, LoRA, Encoder adapter) вставляются в разные части архитектуры модели, обучая специфические для задачи корректировки, не затрагивая предобученные веса. Эффективность впечатляет: scPEFT снижает количество обучаемых параметров более чем на 96% и сокращает использование памяти GPU более чем вдвое. Но вот что важно — она на самом деле работает лучше, чем полное дообучение. На специфических для болезни наборах данных (NSCLC, MS, COVID-19) scPEFT достигает улучшения точности на 39.7–81.7% по сравнению с родными моделями и на 4.3–15% по сравнению с дообученными версиями, именно потому что она сохраняет, а не перезаписывает предобученные знания. Эта структура также позволяет перенос знаний между видами от моделей, обученных на человеке: 14% улучшение на нейронах мыши, 39% на зародышевых клетках макак и 144% на C. elegans — все с использованием ортологичных генетических сопоставлений. Анализ внимания выявляет гены, связанные с COVID, в специфических состояниях Т-клеток и обнаруживает биологически значимые субпопуляции, невидимые для дообученных моделей. Широкое значение: по мере того как модели оснований proliferate в биологии, нам нужны эффективные способы адаптации их, не разрушая то, что они уже усвоили. scPEFT показывает, что иногда обновление меньшего количества означает обучение большему.

Архитектуры, вдохновленные нейронаукой, для создания по-настоящему адаптивного ИИ Современные системы ИИ мощные, но хрупкие. Обучите модель, разверните её и наблюдайте, как производительность ухудшается по мере изменения мира. Переобучите на новых данных, и модель забывает то, что знала. Этот цикл производит системы, которые отлично справляются со статическими тестами, но испытывают трудности с непрерывной адаптацией — с чем биологический интеллект справляется без усилий. Мышь может научиться находить воду в новом лабиринте за примерно десять попыток, скорость обучения в 1,000 раз быстрее, чем в традиционных лабораторных задачах. Тем не менее, наши самые сложные нейронные сети страдают от катастрофического забвения, когда их просят учиться последовательно. Мозг предлагает другую архитектуру. Он работает не как одна запутанная сеть, а как умно взаимосвязанные специализированные модули — зрительная кора обрабатывает края, моторная кора вычисляет в пространстве силы, префронтальные области отслеживают структурированную память задач. Каждый модуль строит внутренние модели, обновляемые через ошибки предсказания, когда ожидаемые результаты расходятся с реальностью. Эти подписанные обучающие сигналы теперь были обнаружены в сенсорных, моторных и наградных цепях. Маккензи Уэйгандт Мэтис синтезирует эти идеи в предложение для адаптивного агентного ИИ. Вместо того чтобы стремиться к все более крупным монолитным базовым моделям, она выступает за системы доменно-специфических кодеров, выходы которых совместно оптимизируются в общем скрытом пространстве. Каждый кодер контролируется сигналами ошибки предсказания — надежные кодеры остаются "заблокированными", в то время как те, кто показывает ухудшение производительности, "разблокируются" для непрерывного обучения с использованием воспроизведения памяти или синаптического интеллекта, не отключая всю систему. Широкий принцип: структурируя ИИ вокруг модульности, вдохновленной нейронаукой, и обновления на основе ошибок предсказания, а не монолитного масштаба, становится возможным перейти от статических моделей к по-настоящему адаптивному интеллекту — системам, которые непрерывно уточняют свои модели мира через взаимодействие с ним. Статья: