Đây là bản Digest Nghiên cứu Ritual của tuần này, một bản tin bao quát những điều mới nhất trong thế giới LLM và giao thoa giữa Crypto x AI. Với hàng trăm tài liệu được công bố hàng tuần, việc cập nhật những điều mới nhất là điều không thể. Chúng tôi làm việc đọc để bạn không phải làm.

RLVE: Mở rộng Học Tăng cường cho các Mô hình Ngôn ngữ với Môi trường Có thể Xác minh Thích ứng Các tác giả giới thiệu RLVE cho việc đào tạo sau khi hoàn thành, nơi họ sử dụng "các môi trường có thể xác minh thích ứng" để tạo ra các vấn đề theo trình độ kỹ năng của mô hình.

Phương pháp RLVE đã được thử nghiệm bằng cách đào tạo OpenThinker3-1.5B sử dụng RLVE-Gym, một bộ sưu tập 400 môi trường học tập khác nhau. Đào tạo với RLVE đã dẫn đến sự cải thiện 3,37% trong kỹ năng lý luận trong khi sử dụng ít tài nguyên tính toán hơn 3 lần.

Quá tốt để trở thành xấu: Về sự thất bại của các mô hình ngôn ngữ lớn trong việc đóng vai phản diện Công trình này nhận thấy rằng các mô hình AI được đào tạo để hữu ích và an toàn thì mỉa mai thay lại "quá tốt" để đóng vai phản diện. Các mô hình ngôn ngữ lớn giảm hiệu suất, gặp khó khăn với những đặc điểm như lừa dối/ thao túng.

Sự căn chỉnh an toàn khiến các mô hình AI từ chối những yêu cầu có hại cũng ngăn cản chúng mô phỏng một cách chân thực các nhân vật có đạo đức phức tạp cần thiết cho các nhiệm vụ như viết sáng tạo, trò chơi và khoa học xã hội. Họ cũng giới thiệu một tiêu chuẩn "Moral RolePlay" để kiểm tra các LLM.

SSR: Tự tinh chỉnh Socratic cho Lý luận Mô hình Ngôn ngữ Lớn Công trình này giới thiệu SSR, giúp các mô hình AI đánh giá lý luận bằng cách chia nhỏ các câu trả lời, xác định những bước cụ thể nào không vững chắc và sửa chữa chúng.

SSR phân tích phản hồi của mô hình thành các "bước Socratic" nhỏ hơn, giống như các cặp câu hỏi/câu trả lời phụ. Điều này cho phép sửa chữa các lỗi cụ thể trong chuỗi lý luận. Trên 5 tiêu chuẩn và 3 LLM, phương pháp nhắm mục tiêu này vượt trội hơn các phương pháp tự sửa chữa mù quáng.

SWE-fficiency: Các Mô Hình Ngôn Ngữ Có Thể Tối Ưu Hóa Các Kho Lưu Trữ Thực Tế Trên Các Tải Công Việc Thực Tế Không? Công trình này giới thiệu một tiêu chuẩn để kiểm tra khả năng tối ưu hóa mã của các mô hình ngôn ngữ trong các dự án phần mềm thực tế. Nó bao gồm 498 nhiệm vụ từ các thư viện ML phổ biến.

Các mô hình repos hiện tại phải tìm ra các nút thắt hiệu suất và khắc phục chúng. Họ phát hiện rằng các mô hình AI tốt nhất hiện nay đạt được chưa đến 15% tốc độ tăng tốc của chuyên gia. Các mô hình gặp khó khăn trong việc xác định mã đúng để tối ưu hóa, lý giải cách các hàm hoạt động cùng nhau và giữ cho các chỉnh sửa của họ không có lỗi.

Theo dõi chúng tôi @ritualdigest để biết thêm về tất cả các vấn đề liên quan đến nghiên cứu crypto x AI, và @ritualnet để tìm hiểu thêm về những gì Ritual đang xây dựng.