Bài báo học thuật đầu tiên của tôi được xuất bản về Định luật Moore và hiện tại sự phát triển của AI trông giống như vậy: sự gia tăng theo cấp số nhân của Định luật Moore không phải là kết quả của một công nghệ duy nhất, mà là nhiều công nghệ khác nhau trong nhiều thập kỷ đã sẵn sàng khi một phương pháp sản xuất chip gặp khó khăn. Tốc độ đều đặn của Định luật đã đóng vai trò như một chức năng phối hợp để một nhóm đối thủ luôn thay đổi bị áp lực tạo ra một lời tiên tri tự thực hiện về sự phát triển khả năng liên tục. Tương tự, sự phát triển của AI đã gặp phải một số trở ngại cần phải vượt qua bằng các kỹ thuật và nghiên cứu mới (các phương pháp dữ liệu tổng hợp, lý luận, các ứng dụng mới cho RL). Nhưng trừ khi bạn là một người trong cuộc (hoặc theo dõi AI chặt chẽ trên X), bạn sẽ không thấy những trở ngại đó: chỉ thấy sự tiến bộ theo cấp số nhân ổn định. Xét về số tiền và tài năng trong lĩnh vực này, tôi mong rằng ngay cả khi việc tiền huấn luyện hoặc bất cứ điều gì đó gặp phải một bức tường, chúng ta sẽ thấy một sự chuyển đổi nhanh chóng của toàn bộ ngành công nghiệp sang một hoặc nhiều phương pháp khác mà mọi người đang phát triển. Bạn có thể thấy điều này ngay bây giờ: công việc về các mô hình thế giới, các lựa chọn thay thế cho LLMs, các phương pháp huấn luyện mới, v.v. Ngay cả các hệ sinh thái thay thế đang đặt cược vào sự gia tăng của các mô hình nhỏ, được tinh chỉnh, v.v. Một số kỹ thuật này đến từ các công ty khởi nghiệp, những cái khác đang được phát triển trong chính các phòng thí nghiệm AI. Mọi người trên X có xu hướng đi vào chi tiết, coi AI như một môn thể thao, cổ vũ cho hoặc chống lại các đội và phương pháp. Nhưng trong bất kỳ khoảng thời gian hợp lý nào, có thể rằng sự phát triển của AI trông giống như một đường cong mượt mà theo cấp số nhân trên nhiều chỉ số đối với mọi người khác.