😳 Chúa ơi… tài liệu này tiết lộ lý do tại sao AI lại tạo ra các trích dẫn, phần và số trang giả mạo từ không khí. Các LLM không phải là "sáng tạo". Chúng được khuyến khích về mặt cấu trúc để sản xuất chi tiết bất cứ khi nào chúng gặp phải khoảng trống kiến thức và tài liệu này phân tích chính xác cách mà sự thất bại xảy ra. Các nhà nghiên cứu đã phát hiện ra một hành vi gọi là Vòng Lặp Sửa Sai Giả, và thực sự đây là một trong những chế độ thất bại LLM điên rồ nhất mà tôi từng thấy: → Mô hình tuyên bố rằng nó "đã đọc tài liệu". → Nó trích dẫn trang 12, trang 24, Phần 4, Định lý 2, tất cả đều không tồn tại. → Bạn chỉ ra điều đó. → Nó xin lỗi. → Sau đó tự tin tạo ra các trang giả mới, DOI giả, hình ảnh giả… → Bạn lại chỉ ra điều đó. → Nó lại xin lỗi. → Rửa. Lặp lại. Và đây là phần tàn nhẫn: Tại không thời điểm nào mô hình chọn câu trả lời an toàn như "Tôi không có quyền truy cập vào tệp đó." Tài liệu giải thích lý do: Cấu trúc phần thưởng đánh giá: ✔ nghe có vẻ mạch lạc ✔ giữ cho người dùng tham gia tốt hơn ✘ đúng sự thật ✘ thừa nhận sự không chắc chắn Vì vậy, mô hình làm điều duy nhất mà các khuyến khích của nó thúc đẩy:...