Tôi chưa nghe thấy điều này được thảo luận nhưng AI cơ bản đã giết chết các hackathon. Hầu như bất cứ điều gì bạn có thể tạo ra tại một hackathon vào năm 2019 đều có thể được AI xây dựng tốt hơn và nhanh hơn vào năm 2025.

đây là mã xấu phải không?

có lẽ 10 lần nhiều người hơn nên làm việc về tối ưu hóa prompt các hệ thống (chúng ta cần một vLLM cho promptopt), lý thuyết, kỹ thuật mới, tiêu chuẩn. toàn bộ mọi thứ

đây là một số thông tin miễn phí: nếu chúng ta thực hiện RL quá lâu sau khi huấn luyện trước, chúng ta chắc chắn sẽ ghi đè các tham số và bắt đầu quên đi những điều đã học trong bài báo gốc về instructGPT, mô hình tốt nhất của họ đã kết hợp RLHF với các gradient huấn luyện trước để tránh chính vấn đề trôi mô hình này nhưng không ai làm điều này nữa. chắc chắn, đó là một cách cụ thể (trộn gradient) của một ý tưởng rộng hơn (tránh quên) nhưng có vẻ như đây là một dòng suy nghĩ bị bỏ qua rất nhiều khi chúng ta thực hiện ngày càng nhiều bước RL ví dụ, xem bài báo ProRL gần đây. họ đang thực hiện hơn 1000 bước GRPO bây giờ với một tỷ lệ học không tầm thường và không có hình phạt cho việc lệch khỏi mô hình gốc. các mạch được xây dựng bên trong mô hình trong quá trình huấn luyện trước chắc chắn đang bắt đầu suy giảm. và nếu không, chúng sẽ suy giảm sau 10k hoặc 100k bước RL tôi nghi ngờ rằng ý tưởng này sẽ quay trở lại vào một lúc nào đó; họ có lẽ đã thực hiện điều này tại các phòng thí nghiệm lớn.

Tôi đang tìm kiếm những ví dụ tốt về sự tổng quát của mô hình lý luận. Ví dụ, một mô hình được khuyến khích thông qua RL để suy nghĩ một lúc và giải quyết các bài toán toán học thì lại trở nên tốt hơn trong việc viết sáng tạo. Điều này có phổ biến không?

điều này có vẻ rất quan trọng: hoàn toàn có khả năng rằng một mô hình có thể đạt được IMO gold mà không cần *bất kỳ* học tăng cường nào, với một prompt được thiết kế hoàn hảo chúng ta chỉ không biết, và thiếu công cụ để tìm kiếm hiệu quả trong không gian prompt. Rất vui khi thấy ít nhất có ai đó đang cố gắng

bạn không thể bịa ra những thứ này

tình huống giả định - tôi là một công ty AI đã giảm chi phí chuyển giao và lưu trữ các mô hình xuống bằng không. tôi có thể phục vụ mỗi người dùng mô hình riêng của họ mà không có chi phí phụ tôi nên làm gì? trực tiếp SFT các mô hình cụ thể cho người dùng trên dữ liệu của họ? hay RLHF dựa trên đánh giá của cuộc trò chuyện? hay một cái gì đó khác?

não người dự trữ 40% khả năng xử lý của nó chỉ dành riêng cho thị giác. các LLM hiện đại bằng cách nào đó đã phát triển mà không có điều này hoàn toàn.

Một người mà tôi biết (theo lời đồn) đã đầu độc tập dữ liệu huấn luyện AI toàn cầu bằng các payload jailbreak ngủ đông tự sinh sản được kích hoạt bằng trigger.