Vào cuối tháng 9, bài tweet về Micron này đã khiến giá cổ phiếu mu tăng gấp đôi. Vậy bây giờ có còn bị đánh giá thấp không? Rất có thể vẫn bị đánh giá thấp, và nghiêm trọng là bị đánh giá thấp. Lý do là, Dù là con đường AGI nào đã biết, "lưu trữ" sẽ trở thành một ràng buộc cứng với sự tăng trưởng siêu tuyến tính hoặc thậm chí giai đoạn theo cấp số nhân. 1) Hầu hết các con đường AGI chính thống đều "ngụ ý" sự bùng nổ lưu trữ. Các con đường đã biết bao gồm: Mô hình thế giới (World Models) LLM + mô hình cơ sở đa phương thức Trí tuệ thể hiện (Embodied AI) Hệ thống đa mô hình hợp tác / đa tác nhân Ký ức dài hạn + lập kế hoạch + hệ thống phản ánh Tất cả chúng đều sẽ dẫn đến sự tăng trưởng siêu tuyến tính trong nhu cầu lưu trữ, và đồng thời đẩy cao ba loại lưu trữ: Lưu trữ tham số (trọng số mô hình, điểm kiểm tra) Lưu trữ trạng thái trung gian / trạng thái thế giới (trạng thái theo thời gian, quá trình suy diễn) Lưu trữ kinh nghiệm / ký ức dài hạn (thư viện ký ức bên ngoài, quỹ đạo, kiến thức và kinh nghiệm) 2) Tại sao "mô hình thế giới" tự nhiên là kẻ giết lưu trữ. (a) Mô hình thế giới không phải là "đầu vào → đầu ra", mà là "vũ trụ có thể phát lại". Điều mà mô hình thế giới cần làm là: cho trạng thái thế giới → suy diễn tương lai → quay lại → so sánh → suy diễn lại. Do đó, cần phải lưu giữ: Trạng thái thế giới (S_t) Mối quan hệ chuyển trạng thái (P(S_{t+1}|S_t, A_t)) Giả thuyết đa nhánh (counterfactuals) Chuỗi thời gian dài (horizon dài) Điểm quan trọng: đây không phải là chuỗi tuyến tính, mà là cấu trúc phân nhánh dạng cây — sự tăng trưởng lưu trữ sẽ trở thành thời gian tuyến tính × hệ số nhánh → thực tế thể hiện là siêu tuyến tính. (b) Một khi mô hình bắt đầu "có thể tổng quát", nhu cầu lưu trữ sẽ xảy ra sự nhảy vọt. Giai đoạn độ trung thực thấp vẫn có thể nén tốt; nhưng khi mô hình gần hơn với "hiểu biết thực sự về thế giới": Quy tắc có thể nén được Nhưng đuôi dài, trường hợp ngoại lệ, trường hợp biên, nguyên nhân phức tạp thì không thể nén được. Vì vậy sẽ xuất hiện sự nhầm lẫn "càng thông minh càng tiết kiệm lưu trữ" — thực tế giống như: càng thông minh → càng cần giữ lại nhiều ngoại lệ và kinh nghiệm không thể nén. 3) LLM + đa phương thức: lưu trữ không phải ít đi, mà là "đổi vị trí" và lớn hơn. Nhiều người sẽ nghĩ rằng LLM chỉ có tham số lớn, trạng thái ít, nhưng xu hướng đang chuyển sang: (a) Từ "tham số là kiến thức" chuyển sang "tham số + ký ức bên ngoài". Ngữ cảnh dài, RAG, Ngân hàng Ký ức, Ký ức Tình huống, v.v., di chuyển kiến thức ra khỏi trọng số, trở thành lưu trữ bên ngoài có thể gọi. Điều này thường là "di chuyển chỗ", không phải "giảm tổng lượng". (b) Đa phương thức nâng cao đáng kể "mật độ dữ liệu" của "mỗi kinh nghiệm". Kinh nghiệm không còn là một câu, mà có thể là: video + âm thanh + hành động + trạng thái môi trường. Số lượng mô hình càng nhiều, lượng thông tin hiệu quả của một mẫu càng lớn, áp lực lưu trữ cũng càng lớn. 4) Trí tuệ thể hiện: áp lực lưu trữ còn lớn hơn. Trí tuệ thể hiện phụ thuộc vào: Dòng cảm biến quy mô lớn (thị giác/cảm giác/IMU, v.v.) Đường đi đa phương thức đồng bộ theo thời gian. Ghi lại đầy đủ các tập hợp thành công/thất bại. So sánh: Đơn vị mẫu cơ bản của LLM là token. Mô hình thế giới là quỹ đạo. Robot là quỹ đạo × tín hiệu liên tục. Và sự thật quan trọng là: các trường hợp thất bại hiếm và kinh nghiệm liên quan đến an toàn đặc biệt có giá trị, thường không thể dễ dàng bỏ đi, càng làm tăng lượng lưu trữ "phải giữ lại". 5) Hệ thống đa tác nhân / hợp tác: dễ xuất hiện "hiệu ứng bình phương" hoặc ảo giác theo cấp số nhân. Nếu có N tác nhân, mỗi tác nhân có M kinh nghiệm: Chỉ lưu trữ riêng lẻ: khoảng (N×M). Nhưng một khi cần chia sẻ, đồng bộ, mô hình hóa lẫn nhau (dự đoán "một tác nhân khác nghĩ gì"), lưu trữ sẽ mở rộng về không gian quan hệ, có thể gần (O(N^2×M)). Đặc biệt trong các nhiệm vụ mô phỏng xã hội/chiến lược/kinh tế, nhiều tác nhân + mô hình thế giới sẽ làm tăng đáng kể nhu cầu lưu trữ. 6) Có con đường AGI nào "vượt qua sự bùng nổ lưu trữ" không? Kết luận của chúng tôi là: hiện tại không có bất kỳ con đường AGI nào được coi trọng có thể thực sự vượt qua vấn đề quy mô lưu trữ. Chỉ có thể thực hiện ba loại "hoãn lại/di chuyển": Nén mạnh mẽ hơn (nhưng thường mất đi khả năng tổng quát). Quên thường xuyên hơn (hy sinh tính nhất quán lâu dài). Ngoại nguồn lưu trữ cho môi trường/công cụ/mạng (về bản chất là chuyển giao, không phải tiêu diệt). 7) Tóm tắt: liệu cung có lâu dài không theo kịp cầu? Phán đoán như sau: "Mức độ thông minh" ngày càng phụ thuộc vào quy mô ký ức hiệu quả có thể gọi (không chỉ là sức mạnh tính toán). Mở rộng lưu trữ bị hạn chế bởi vật liệu, sản xuất, độ tin cậy, tiêu thụ năng lượng, chi phí và các yếu tố thực tế khác. Do đó, trong tương lai có thể thấy, nhu cầu của AI đối với lưu trữ hiệu quả rất có thể lâu dài vượt qua khả năng cung cấp lưu trữ. Các suy luận tương ứng bao gồm: Khả năng vận hành mô hình thế giới hoàn chỉnh/hệ thống ký ức quy mô lớn sẽ trở nên khan hiếm và tập trung hơn. Ràng buộc ngành có thể chuyển từ "sức mạnh tính toán" sang "hệ thống lưu trữ" (cấp độ, khả năng gọi, tính nhất quán lâu dài). Do đó, Dù là mô hình thế giới, trí tuệ thể hiện hay đa phương thức + tác nhân, ràng buộc cứng chính của AGI đang dần chuyển từ "sức mạnh tính toán" sang "hệ thống lưu trữ có thể mở rộng, có thể gọi, có thể giữ nhất quán lâu dài"; nhu cầu lưu trữ này về cấu trúc thể hiện sự tăng trưởng siêu tuyến tính, và có thể ở một số giai đoạn thể hiện áp lực gần như theo cấp số nhân.

Nếu phải chọn một từ khóa để mô tả AI trong 26 năm qua, tôi nghĩ đó là tự lặp lại theo kiểu hồi quy. Đối với người dùng cuối, việc clawdbot tự hoàn thiện chính mình chính là cách hiểu hình ảnh nhất về từ này.