Đọc bài viết xuất sắc của Wolfram "ChatGPT đang làm gì..." (cảm ơn @danielrock). Ông viết rằng chúng ta đã học được rất nhiều về cách ngôn ngữ hoạt động từ thực tế rằng GPT3, với chỉ 175 tỷ trọng số, có khả năng mô phỏng nó rất tốt. Điều này ngụ ý rằng nó về mặt tính toán đơn giản hơn nhiều so với những gì chúng ta có thể nghĩ. Nhưng còn toán học thì sao? Vào thời điểm bài viết này được viết (2023), GPT vẫn rất kém trong toán học. Các mô hình trở nên rất (rất) giỏi trong toán học khi mô hình lý luận đầu tiên ra đời (o1), mà dựa nhiều hơn vào học tăng cường thay vì chỉ đơn thuần là huấn luyện trước bằng sức mạnh thô. Tự hỏi điều này nói gì về toán học? Về mặt khái niệm, ngôn ngữ "mơ hồ" hơn nhiều so với toán học: nhiều từ có thể nghe "đúng" ở cùng một vị trí trong câu. Đây là điều làm cho kiến trúc LLM xác suất hoạt động. Toán học ít mơ hồ hơn. Có lẽ đây là lý do tại sao bước RL "dựa trên quy tắc" lại rất quan trọng. Nhưng điều này cũng ngụ ý rằng toán học chính thức ít phức tạp về mặt tính toán hơn chúng ta đã nghĩ. Suy nghĩ gì về điều này? @littmath @alz_zyd_