Bẻ cong không gian để phù hợp với năng lượng: cách hình học giúp dự đoán cấu trúc phân tử đạt độ chính xác hóa học Dự đoán cấu trúc 3D của một phân tử—vị trí chính xác của từng nguyên tử trong không gian—là điều cơ bản trong hóa học tính toán. Nếu sai một chút, các phép tính năng lượng của bạn có thể sai rất nhiều. Tiêu chuẩn vàng là lý thuyết chức năng mật độ, nhưng DFT thì chậm và tốn kém. Học máy cung cấp một con đường nhanh hơn: đào tạo một mô hình để loại bỏ nhiễu từ một dự đoán ban đầu thô thành một cấu trúc chính xác. Vấn đề là hầu hết các mô hình loại bỏ nhiễu hoạt động trong không gian Euclide thông thường, nơi tất cả các hướng đều được đối xử như nhau. Nhưng các phân tử không hoạt động theo cách đó. Kéo dài một liên kết tốn nhiều năng lượng hơn nhiều so với việc xoay quanh nó. Khoảng cách bằng nhau trong tọa độ Cartesian không có nghĩa là thay đổi năng lượng bằng nhau. Jeheon Woo và các đồng tác giả giải quyết sự không khớp này một cách trực tiếp. Họ xây dựng một đa tạp Riemann—một không gian cong với một metric phụ thuộc vào vị trí—được thiết kế sao cho khoảng cách địa lý tương quan với sự khác biệt năng lượng. Metric được xây dựng từ các tọa độ nội bộ có thông tin vật lý mà trọng số khoảng cách giữa các nguyên tử theo mức độ năng lượng cần thiết để thay đổi chúng: các liên kết cứng có trọng số nhiều hơn so với các xoắn mềm. Khi họ so sánh khoảng cách địa lý với RMSD tiêu chuẩn, sự tương quan với năng lượng tăng từ 0.37 lên 0.90. Đào tạo một mô hình loại bỏ nhiễu trên không gian cong này thay đổi những gì mô hình học được. Trong không gian Euclide, việc thêm nhiễu đồng nhất có thể làm gãy các liên kết hoặc tạo ra các hình học không thể—các cấu trúc cao hơn hàng trăm kcal/mol so với mức tối thiểu. Trên đa tạp Riemann, cùng một độ lớn nhiễu giữ cho các phân tử có tính hóa học hợp lý, vẫn nằm trong cùng một giếng tiềm năng. Đường đi loại bỏ nhiễu tự nó theo các địa lý theo dõi sự tối thiểu hóa năng lượng, không phải là các đường thẳng tùy ý qua không gian Cartesian. Kết quả đạt đến ngưỡng quan trọng: độ chính xác hóa học, được định nghĩa là sai số năng lượng dưới 1 kcal/mol. Trên chuẩn QM9, mô hình Riemann đạt được sai số trung vị là 0.177 kcal/mol—khoảng 20× tốt hơn so với các cấu trúc khởi đầu của lực trường và tốt hơn đáng kể so với phiên bản Euclide. Khi những dự đoán này được sử dụng làm điểm khởi đầu cho việc tinh chỉnh DFT, chi phí tính toán giảm hơn một nửa. Điểm sâu hơn: trong mô hình phân tử, hình học của không gian đại diện không trung lập. Không gian Euclide coi tất cả các dịch chuyển nguyên tử là tương đương; không gian Riemann có thể mã hóa vật lý. Khi bạn căn chỉnh khoảng cách hình học với chi phí năng lượng, việc loại bỏ nhiễu trở thành tối ưu hóa, và mô hình học cách theo dõi bề mặt năng lượng tiềm năng thay vì chống lại nó. Bài báo:

Mở khóa các mô hình nền tảng tế bào đơn với 96% số tham số ít hơn Các mô hình ngôn ngữ lớn tế bào đơn (scLLMs) đã học được những kiến thức sinh học đáng kể từ hàng triệu tế bào. Nhưng chúng có một điểm yếu nghiêm trọng: khi đưa chúng ra khỏi bối cảnh đào tạo của chúng—một căn bệnh mới, một loài chưa thấy, một quần thể tế bào chưa được mô tả—dự đoán của chúng trở nên không đáng tin cậy. Cách khắc phục tiêu chuẩn là tinh chỉnh. Nhưng tinh chỉnh ghi đè lên các tham số mô hình gốc, gây ra "quên thảm khốc" những kiến thức sinh học đã học trước đó. Và nó tốn kém về mặt tính toán, yêu cầu tài nguyên GPU đáng kể mà nhiều nhà nghiên cứu đơn giản là không có. Fei He và các đồng tác giả đề xuất scPEFT—một khung tinh chỉnh hiệu quả tham số mà đóng băng phần xương sống scLLM gốc và chỉ đào tạo các bộ điều chỉnh nhỏ, có kích thước thấp. Bốn loại bộ điều chỉnh (Bộ điều chỉnh Token, Bộ điều chỉnh Tiền tố, LoRA, Bộ điều chỉnh Bộ mã hóa) được lắp vào các phần khác nhau của kiến trúc mô hình, học các điều chỉnh cụ thể cho nhiệm vụ mà không chạm vào các trọng số đã được đào tạo trước. Các lợi ích về hiệu suất thật ấn tượng: scPEFT giảm số tham số có thể đào tạo xuống hơn 96% và cắt giảm việc sử dụng bộ nhớ GPU hơn một nửa. Nhưng điều quan trọng là—nó thực sự hoạt động tốt hơn so với tinh chỉnh đầy đủ. Trên các tập dữ liệu cụ thể về bệnh (NSCLC, MS, COVID-19), scPEFT đạt được cải thiện độ chính xác từ 39.7–81.7% so với các mô hình gốc và 4.3–15% so với các phiên bản đã được tinh chỉnh, chính xác vì nó bảo tồn chứ không ghi đè lên kiến thức đã được đào tạo trước. Khung này cũng cho phép chuyển giao giữa các loài từ các mô hình được đào tạo trên người: cải thiện 14% trên các nơron chuột, 39% trên các tế bào sinh dục khỉ macaque, và 144% trên C. elegans—tất cả đều sử dụng các ánh xạ gen đồng loại. Phân tích sự chú ý xác định các gen liên quan đến COVID trong các trạng thái tế bào T cụ thể và phát hiện các quần thể sinh học có liên quan mà các mô hình đã được tinh chỉnh không nhìn thấy. Ý nghĩa rộng hơn: khi các mô hình nền tảng phát triển mạnh mẽ trong sinh học, chúng ta cần những cách hiệu quả để điều chỉnh chúng mà không phá hủy những gì chúng đã học. scPEFT cho thấy rằng đôi khi, cập nhật ít hơn có nghĩa là học nhiều hơn. Bài báo:

Kiến trúc lấy cảm hứng từ khoa học thần kinh để xây dựng AI thực sự thích ứng Các hệ thống AI hiện đại rất mạnh mẽ nhưng dễ bị tổn thương. Huấn luyện một mô hình, triển khai nó, và theo dõi hiệu suất giảm sút khi thế giới thay đổi. Huấn luyện lại trên dữ liệu mới, và mô hình quên những gì nó đã biết. Chu trình này tạo ra các hệ thống xuất sắc trong các tiêu chuẩn tĩnh nhưng gặp khó khăn trong việc thích ứng liên tục—điều mà trí thông minh sinh học xử lý một cách dễ dàng. Một con chuột có thể học nhanh để tìm nước trong một mê cung mới trong khoảng mười lần thử, với tốc độ học nhanh gấp 1.000 lần so với các nhiệm vụ trong phòng thí nghiệm truyền thống. Tuy nhiên, các mạng nơ-ron tinh vi nhất của chúng ta lại gặp phải tình trạng quên thảm khốc khi được yêu cầu học theo trình tự. Não bộ cung cấp một kiến trúc khác. Nó hoạt động không như một mạng lưới rối rắm đơn lẻ mà như các mô-đun chuyên biệt được kết nối thông minh—vỏ não thị giác xử lý các cạnh, vỏ não vận động tính toán trong không gian lực, các vùng trước trán theo dõi trí nhớ có cấu trúc nhiệm vụ. Mỗi mô-đun xây dựng các mô hình nội bộ được cập nhật thông qua các lỗi dự đoán khi các kết quả mong đợi khác biệt với thực tế. Những tín hiệu giảng dạy có dấu hiệu này hiện đã được phát hiện trên các mạch cảm giác, vận động và phần thưởng. Mackenzie Weygandt Mathis tổng hợp những hiểu biết này thành một đề xuất cho AI tác nhân thích ứng. Thay vì theo đuổi các mô hình nền tảng đơn khối ngày càng lớn, cô lập luận cho các hệ thống mã hóa theo miền cụ thể mà đầu ra của chúng được tối ưu hóa chung trong một không gian tiềm ẩn chia sẻ. Mỗi bộ mã hóa được giám sát bởi các tín hiệu lỗi dự đoán—các bộ mã hóa mạnh mẽ vẫn "khóa" trong khi những bộ cho thấy hiệu suất giảm sút được "mở khóa" để học liên tục bằng cách sử dụng phát lại trí nhớ hoặc trí thông minh synaptic, mà không cần đưa toàn bộ hệ thống offline. Nguyên tắc rộng hơn: bằng cách cấu trúc AI xung quanh tính mô-đun lấy cảm hứng từ khoa học thần kinh và cập nhật dựa trên lỗi dự đoán thay vì quy mô đơn khối, có thể di chuyển ra ngoài các mô hình tĩnh hướng tới trí thông minh thực sự thích ứng—các hệ thống liên tục tinh chỉnh các mô hình của chúng về thế giới thông qua tương tác với nó. Bài báo: