Nếu bạn không thể thấy những gì một tác nhân làm, bạn không thể cải thiện nó, bạn không thể gỡ lỗi nó, và bạn không thể tin tưởng nó. Thật điên rồ khi có bao nhiêu đội đang xây dựng các tác nhân mà không có cách nào để hiểu những gì chúng đang làm. Thực sự là không có sự quan sát nào cả. Đây có lẽ là một trong những câu hỏi đầu tiên tôi hỏi mỗi đội mới mà tôi gặp: Bạn có thể cho tôi thấy các dấu vết của một vài lần thực thi của các tác nhân của bạn không? Không có gì cả. Không có gì. Không có gì cả. Các mô hình ngôn ngữ lớn thường đưa ra những quyết định tồi tệ. Các tác nhân thất bại, và bạn sẽ không nhận ra điều đó cho đến khi có ai đó phàn nàn. Tối thiểu, mỗi tác nhân bạn xây dựng nên tạo ra các dấu vết cho thấy toàn bộ luồng yêu cầu, phân tích độ trễ, và các chỉ số hiệu suất cấp hệ thống. Chỉ riêng điều này sẽ làm nổi bật 80% các vấn đề vận hành. Nhưng lý tưởng nhất, bạn có thể làm điều gì đó tốt hơn nhiều và ghi lại tất cả những điều sau: • Tương tác mô hình • Sử dụng token • Thời gian và siêu dữ liệu hiệu suất • Thực thi sự kiện Nếu bạn muốn có các tác nhân đáng tin cậy, sự quan sát không phải là tùy chọn.