Kỹ thuật ngữ bối cảnh, được giải thích rõ ràng:

Mọi người đang nói về kỹ thuật ngữ bối cảnh, nhưng không ai nói cho bạn biết nó thực sự có nghĩa là gì. Hôm nay, tôi sẽ giải thích mọi thứ bạn cần biết về kỹ thuật ngữ bối cảnh theo cách từng bước. Đi nào! 🚀

Vậy, kỹ thuật ngữ là gì? Đó là nghệ thuật và khoa học của việc cung cấp thông tin đúng, ở định dạng đúng, vào thời điểm đúng, cho LLM của bạn. Dưới đây là một câu trích dẫn của Andrej Karpathy về kỹ thuật ngữ...👇

Để hiểu về kỹ thuật ngữ bối cảnh, trước tiên cần phải hiểu ý nghĩa của bối cảnh. Các tác nhân ngày nay đã phát triển thành nhiều hơn chỉ là chatbot. Đồ họa dưới đây tóm tắt 6 loại bối cảnh mà một tác nhân cần để hoạt động đúng cách. Hãy xem cái này 👇

Đến bây giờ, bạn nên biết rằng chỉ "nhắc nhở" các tác nhân là không đủ. Bạn phải thiết kế đầu vào (ngữ cảnh). Hãy nghĩ theo cách này: 🧠 LLM = CPU 💾 Cửa sổ ngữ cảnh = RAM Bạn thực chất đang lập trình "RAM" với những hướng dẫn hoàn hảo cho AI của bạn. tiếp tục...👇

Vậy chúng ta sẽ làm điều đó như thế nào? Kỹ thuật ngữ cảnh có thể được chia thành 4 giai đoạn cơ bản: - Viết ngữ cảnh - Chọn ngữ cảnh - Nén ngữ cảnh - Tách biệt ngữ cảnh Hãy cùng hiểu từng phần một...👇

1️⃣ Ngữ cảnh viết: Ngữ cảnh viết có nghĩa là lưu nó bên ngoài cửa sổ ngữ cảnh để giúp một tác nhân thực hiện một nhiệm vụ. Bạn có thể làm điều đó bằng cách ghi nó vào: - Bộ nhớ dài hạn (duy trì qua các phiên) - Bộ nhớ ngắn hạn (duy trì trong phiên) - Một đối tượng trạng thái Kiểm tra điều này👇

2️⃣ Đọc ngữ cảnh: Đọc ngữ cảnh có nghĩa là đưa nó vào cửa sổ ngữ cảnh để giúp một tác nhân thực hiện một nhiệm vụ. Bây giờ ngữ cảnh này có thể được lấy từ: - Một công cụ - Bộ nhớ - Cơ sở tri thức (tài liệu, cơ sở dữ liệu vector) Kiểm tra điều này👇

3️⃣ Nén ngữ cảnh Nén ngữ cảnh có nghĩa là chỉ giữ lại các token cần thiết cho một nhiệm vụ. Ngữ cảnh được truy xuất có thể chứa thông tin trùng lặp hoặc thừa (các cuộc gọi công cụ nhiều lượt), dẫn đến việc tăng thêm token và chi phí. Tóm tắt ngữ cảnh giúp ích ở đây. Kiểm tra điều này👇

4️⃣ Tách biệt ngữ cảnh Tách biệt ngữ cảnh liên quan đến việc chia nhỏ nó để giúp một tác nhân thực hiện một nhiệm vụ. Một số cách phổ biến để làm điều này là: - Sử dụng nhiều tác nhân (hoặc tiểu tác nhân), mỗi tác nhân có ngữ cảnh riêng - Sử dụng môi trường sandbox để lưu trữ và thực thi mã - Và sử dụng một đối tượng trạng thái Kiểm tra điều này👇