Nếu một mô hình không đủ khả năng để mô phỏng các nguyên tử, nó buộc phải phát minh ra 'hóa học' để dự đoán kết quả. Hãy xem bản preprint thú vị này cung cấp một nền tảng lý thuyết thông tin cùng với các biện pháp có thể định lượng "Từ Entropy đến Epiplexity" của @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Công trình này cung cấp một nghiên cứu rất thú vị cho thấy rằng những người quan sát 'hoàn hảo' không bị giới hạn không bị buộc phải học cấu trúc cấp cao hơn - họ có thể đơn giản là mô phỏng vi vật lý. Ví dụ, để khám phá các quy luật có thể tổng quát có ý nghĩa (nội dung cấu trúc được nắm bắt bởi Epiplexity), một hệ thống thường cần phải bị giới hạn về tính toán. Những quy luật này có thể giống như những gì các nhà khoa học gọi là lý thuyết liên tục hoặc quy mô vĩ mô, nhưng chúng vốn dĩ nắm bắt ánh xạ functorial vào một mô hình cấu trúc không phụ thuộc vào quy mô. Điều này cực kỳ liên quan đến một loạt các ứng dụng trong AI cho khoa học và khám phá. Nó cũng kết nối tốt với những phát hiện thực nghiệm trước đây của chúng tôi với LifeGPT (Jaime Berkovich et al.). Trong trường hợp này, bằng cách áp dụng Forgetful Causal Masking, chúng tôi đã giới hạn khả năng của mô hình trong việc dựa vào lịch sử. Bài báo cung cấp một lời giải thích có nguyên tắc nhất quán với những gì chúng tôi đã tìm thấy: sự hạn chế này buộc mô hình phải dựa ít hơn vào các tín hiệu cụ thể của lịch sử và thay vào đó học nhiều hơn về động lực cấp cao có thể tái sử dụng của Trò Chơi Cuộc Sống trong một thế giới bị hạn chế tính toán. Nó cũng phù hợp với kết quả của chúng tôi với AutomataGPT, nơi chúng tôi phát hiện rằng việc suy diễn tập hợp quy tắc (vấn đề ngược) mang lại các đại diện phong phú hơn so với mô phỏng tiến. Lý thuyết hỗ trợ ý tưởng rằng việc giải quyết nhiệm vụ ngược khó khăn hơn buộc mô hình phải nắm bắt một cấu trúc nguyên nhân hiệu quả về mặt tính toán - hiệu quả trích xuất 'mã nguồn' của hệ thống thay vì chỉ khớp các mẫu hoặc dựa vào tính toán brute-force. @JaimeBerkovich