Con người có học như các mô hình transformer không? Đó là một câu hỏi nghe có vẻ triết lý, nhưng Pesnot Lerousseau và Summerfield đã biến nó thành một thí nghiệm nghiêm ngặt. Họ đã đào tạo cả con người (n = 530) và các mạng transformer nhỏ trên cùng một nhiệm vụ học quy tắc, sau đó thao tác một biến duy nhất: phân phối thống kê của các ví dụ đào tạo - từ hoàn toàn đa dạng (mỗi ví dụ là duy nhất) đến rất dư thừa (các mục giống nhau được lặp đi lặp lại). Kết quả thật ấn tượng. Cả con người và các mô hình transformer đều cho thấy độ nhạy cảm gần như giống hệt với sự thao tác này. Đào tạo trên dữ liệu đa dạng, và người học tổng quát hóa các quy tắc cho các tình huống mới ("học trong ngữ cảnh"). Đào tạo trên dữ liệu dư thừa, và họ ghi nhớ các ví dụ cụ thể ("học trong trọng số"). Sự chuyển tiếp giữa các chiến lược xảy ra tại cùng một điểm quan trọng (hệ số Zipf α ≈ 1) trong cả hệ thống sinh học và nhân tạo. Không ai có thể dễ dàng làm cả hai - cho đến khi bạn cung cấp cho họ một phân phối tổng hợp kết hợp giữa sự đa dạng và sự dư thừa, tại thời điểm đó cả con người và các mô hình transformer trở thành "người học kép." Nhưng đây là nơi họ khác nhau: con người được hưởng lợi từ các chương trình giảng dạy. Trình bày các ví dụ đa dạng sớm, và mọi người phát hiện ra quy tắc tổng quát mà không mất khả năng ghi nhớ sau này. Các mô hình transformer, ngược lại, chịu đựng sự can thiệp thảm khốc - bất cứ điều gì họ học thứ hai sẽ ghi đè lên những gì đã học trước đó. Ý nghĩa cho AI và giáo dục cũng như nhau: cấu trúc của dữ liệu đào tạo quan trọng không kém gì nội dung của nó. Và trong khi các mô hình transformer có thể tương đương với việc học của con người theo những cách bất ngờ, chúng vẫn thiếu sự linh hoạt cho phép chúng ta hưởng lợi từ các chương trình giảng dạy được thiết kế tốt. Bài báo: