Разблокировка моделей оснований на уровне отдельных клеток с 96% меньшим количеством параметров Модели больших языков на уровне отдельных клеток (scLLMs) усвоили замечательные биологические знания из миллионов клеток. Но у них есть критическая слабость: если их вынести из контекста обучения — новая болезнь, невиданное видовое разнообразие, неохарактеризованная клеточная популяция — их предсказания становятся ненадежными. Стандартное решение — дообучение. Но дообучение перезаписывает оригинальные параметры модели, вызывая "катастрофическое забывание" заранее усвоенных биологических знаний. И это требует значительных вычислительных ресурсов, которые у многих исследователей просто нет. Фэй Хэ и соавторы предлагают scPEFT — эффективную в плане параметров структуру дообучения, которая замораживает оригинальный каркас scLLM и обучает только небольшие, низкоразмерные адаптеры. Четыре типа адаптеров (Token adapter, Prefix adapter, LoRA, Encoder adapter) вставляются в разные части архитектуры модели, обучая специфические для задачи корректировки, не затрагивая предобученные веса. Эффективность впечатляет: scPEFT снижает количество обучаемых параметров более чем на 96% и сокращает использование памяти GPU более чем вдвое. Но вот что важно — она на самом деле работает лучше, чем полное дообучение. На специфических для болезни наборах данных (NSCLC, MS, COVID-19) scPEFT достигает улучшения точности на 39.7–81.7% по сравнению с родными моделями и на 4.3–15% по сравнению с дообученными версиями, именно потому что она сохраняет, а не перезаписывает предобученные знания. Эта структура также позволяет перенос знаний между видами от моделей, обученных на человеке: 14% улучшение на нейронах мыши, 39% на зародышевых клетках макак и 144% на C. elegans — все с использованием ортологичных генетических сопоставлений. Анализ внимания выявляет гены, связанные с COVID, в специфических состояниях Т-клеток и обнаруживает биологически значимые субпопуляции, невидимые для дообученных моделей. Широкое значение: по мере того как модели оснований proliferate в биологии, нам нужны эффективные способы адаптации их, не разрушая то, что они уже усвоили. scPEFT показывает, что иногда обновление меньшего количества означает обучение большему.