Tôi đã đóng gói dự án "autoresearch" vào một kho lưu trữ tối thiểu tự chứa mới nếu mọi người muốn thử nghiệm vào cuối tuần. Nó cơ bản là lõi đào tạo LLM nanochat được rút gọn xuống phiên bản một tệp, một GPU với khoảng 630 dòng mã, sau đó: - con người lặp lại trên prompt (.md) - tác nhân AI lặp lại trên mã đào tạo (.py) Mục tiêu là thiết kế các tác nhân của bạn để đạt được tiến bộ nghiên cứu nhanh nhất vô hạn mà không cần sự tham gia của bạn. Trong hình, mỗi chấm là một lần chạy đào tạo LLM hoàn chỉnh kéo dài đúng 5 phút. Tác nhân làm việc trong một vòng lặp tự động trên một nhánh tính năng git và tích lũy các cam kết git vào kịch bản đào tạo khi nó tìm thấy các cài đặt tốt hơn (có độ mất mát xác thực thấp hơn vào cuối) của kiến trúc mạng nơ-ron, bộ tối ưu hóa, tất cả các siêu tham số, v.v. Bạn có thể tưởng tượng so sánh tiến bộ nghiên cứu của các prompt khác nhau, các tác nhân khác nhau, v.v. Một phần mã, một phần khoa học viễn tưởng, và một chút tâm thần :)