Một trong những tác nhân đầu tiên tôi xây dựng rất đơn giản: Nó lấy thông tin từ một kho vector, định dạng nó dưới dạng HTML và gửi email cho người dùng. Không có gì đơn giản hơn thế, và tuy nhiên, tác nhân này đã thất bại khoảng 1% thời gian. Không có lỗi. Không có cảnh báo. Nó chỉ trả về những thứ vô nghĩa. Đây là sự thật khắc nghiệt: Các tác nhân thường thất bại. Và họ thất bại một cách im lặng. Mọi lúc. Bạn không thể tin tưởng một LLM sẽ làm đúng mọi lúc. Đến bây giờ, tôi đã xây dựng và triển khai một vài chục tác nhân, và đây là một số điều thực sự hiệu quả: 1. Quan sát từ ngày đầu tiên. Nếu bạn không thể thấy tác nhân của mình đang làm gì, bạn không thể gỡ lỗi, cải thiện hoặc tin tưởng nó. Mỗi tác nhân nên tạo ra các dấu vết cho thấy toàn bộ luồng yêu cầu, tương tác mô hình, sử dụng token và siêu dữ liệu thời gian. 2. Rào chắn cho đầu vào và đầu ra. Mọi thứ đi vào và ra khỏi một LLM nên được kiểm tra bởi mã xác định. Ngay cả những thứ không có khả năng bị hỏng cũng sẽ cuối cùng bị hỏng. 3. Đánh giá LLM như một thẩm phán. Bạn có thể xây dựng một thẩm phán đơn giản bằng cách sử dụng một LLM để tự động đánh giá đầu ra của tác nhân của bạn. Gán nhãn một tập dữ liệu, viết lời nhắc đánh giá và lặp lại cho đến khi thẩm phán của bạn phát hiện hầu hết các lỗi. 4. Phân tích lỗi. Bạn có thể thu thập các mẫu thất bại, phân loại chúng và chẩn đoán những sai lầm thường gặp nhất. 5. Kỹ thuật ngữ cảnh. Thường thì, các tác nhân thất bại vì ngữ cảnh của chúng bị ồn ào, quá tải hoặc không liên quan. Học cách giữ cho ngữ cảnh liên quan là rất quan trọng. 6. Vòng phản hồi của con người. Đôi khi, rào chắn tốt nhất là một con người trong quy trình, đặc biệt là cho các quyết định có tính rủi ro cao.