Tôi nghĩ một trong những kết luận mà chúng ta nên rút ra từ thành công to lớn của LLM là có bao nhiêu kiến thức và xã hội của con người tồn tại ở mức độ phức tạp Kolmogorov rất thấp. Chúng ta đang bước vào một kỷ nguyên mà sự đại diện tối thiểu của một hiện vật văn hóa con người... (1/12)

...sẽ là, một cách tổng quát, một lời nhắc LLM. Và những lời nhắc đó sẽ, một cách tổng quát, nhỏ gọn hơn nhiều so với chính các tác phẩm. Thành công lớn của các tác nhân lập trình, chẳng hạn, cho thấy rằng mã nguồn của hầu hết các tác phẩm phần mềm là nhiều lần... (2/12)

...mức độ phình to hơn nhiều so với đại diện thuật toán tối thiểu thực sự cần thiết để xác định rõ ràng phần mềm đó. Tương tự như vậy đối với phần lớn văn viết, nghiên cứu, giao tiếp của con người. Bằng cách trở thành những bộ giải nén thông tin thuật toán hiệu quả như vậy, LLM đã... (3/12)

...đã phản bội mức độ kinh hoàng của sự dài dòng của chính chúng ta. Một phần của sự dài dòng đó chắc chắn xuất phát từ những hạn chế của các ngôn ngữ biểu diễn chính thức của chúng ta (chẳng hạn như ngôn ngữ lập trình). Nhưng một phần cũng có vẻ là bản chất vốn có, có lẽ như một phương tiện để sửa lỗi của con người. (4/12)

Khi bộ giải nén dự kiến rất mất mát (như tâm trí con người), việc chỉ định quá mức đại diện với nhiều từ đồng nghĩa và các yếu tố ngữ pháp dường như là hợp lý. Khi bộ giải nén dự kiến gần như hoàn toàn không mất mát (như các LLM đang nhanh chóng trở thành), điều đó ít có ý nghĩa hơn. (5/12)

Toán học và vật lý đại diện cho những trường hợp thử nghiệm thú vị. Quá trình định nghĩa tiên đề trong toán học là một hình thức nén thuật toán: tất cả các định lý đúng luôn "được chứa" trong biểu diễn của các tiên đề và các quy tắc suy diễn, nhưng quá trình... (6/12)

...việc giải nén đại diện này có thể khó khăn một cách tùy ý. Tuy nhiên, chi tiết về cách mà quá trình giải nén (chứng minh định lý) và nén (toán học đảo ngược) diễn ra, theo một cách nào đó, là những đối tượng thực sự của sự quan tâm toán học. Tương tự với vật lý. (7/12)

Một người có thể, nếu người đó đủ ngây thơ, tuyên bố rằng vật lý là về việc tìm kiếm các nén thuật toán tối thiểu của vũ trụ vật lý. Tuy nhiên, chi tiết của việc (giải) nén cuối cùng mới là điều quan trọng. Chỉ đơn giản là tìm một đại diện tối thiểu của vũ trụ... (8/12)

...sẽ không "giải quyết vật lý", cũng như việc phát hiện các tiên đề ZFC "không giải quyết toán học". [Nếu ai đó tin, như tôi, rằng vũ trụ cuối cùng có thể được mô hình hóa bằng các thuật ngữ tính toán, thì theo một nghĩa nào đó, đại diện này đã tồn tại: đó là một máy Turing phổ quát.] (9/12)

Các LLM là những công cụ giải nén thông tin thuật toán vô cùng hiệu quả, và thành công của chúng trong việc chứng minh định lý và phát triển phần mềm là một minh chứng cho điều đó. Khả năng của chúng trong việc nén hiện tại có vẻ không rõ ràng. Tuy nhiên, việc khám phá các biểu diễn tối thiểu,... (10/12)

...dù là những châm ngôn dí dỏm hay những câu nói hay (mà hiện tại các LLM đều rất tệ), hoặc những biểu diễn định lý cô đọng đặc trưng cho vẻ đẹp toán học (mà hiện tại các LLM vẫn chưa được kiểm nghiệm nhiều), thì đó là một trong những dấu hiệu của trí thông minh sâu sắc của con người. (11/12)

Vì vậy, tôi nghĩ rằng ngày càng rõ ràng rằng hiệu quả và không mất mát, cả trong nén và giải nén, cùng nhau đại diện cho bốn trục tiềm năng mà chúng ta có thể bắt đầu để tham số hóa không gian của những tâm trí (thông minh) có thể có. Nhưng còn những cái khác thì sao? (12/12)