Đây là lý do tại sao kỹ thuật ngữ bối cảnh lại quan trọng đến vậy. Chúng tôi vừa dành 2 giờ để tranh luận về việc khi nào một tác nhân nên dựa vào kiến thức nội bộ của nó so với việc cố gắng tìm bối cảnh liên quan trong dữ liệu cho chỉ một loại câu hỏi. Chúng tôi đã đi qua 2 trường hợp thử nghiệm trong hàng trăm trường hợp. Ngay cả những người tham gia vào buổi não bộ cũng không thể đồng ý về những gì họ mong đợi con người sẽ làm trong tình huống này. Thực sự không có câu trả lời đúng, và điều này luôn phụ thuộc vào bối cảnh từng khách hàng. Mọi thứ trong kỹ thuật bối cảnh đều là sự đánh đổi giữa nhiều yếu tố: bạn muốn tác nhân trả lời câu hỏi nhanh đến mức nào, bạn muốn yêu cầu bao nhiêu tương tác qua lại cho người dùng, nó nên làm bao nhiêu công việc trước khi cố gắng trả lời một câu hỏi, nó biết như thế nào rằng nó có tài liệu nguồn đầy đủ để trả lời câu hỏi, mức độ rủi ro của câu trả lời sai là gì, và nhiều điều khác nữa. Mỗi quyết định bạn đưa ra về một trong những chiều này đều có hậu quả ở đầu bên kia. Không có bữa trưa miễn phí. Đây là lý do tại sao việc xây dựng các tác nhân AI lại thú vị đến vậy. Nó cũng làm nổi bật giá trị mà có trên lớp LLM. Việc đưa ra những quyết định này đúng cách liên quan trực tiếp đến chất lượng của giá trị đề xuất.

Từ bài viết mới nhất của Karpathy: "Các ứng dụng LLM sẽ tổ chức, tinh chỉnh và thực sự biến chúng thành các chuyên gia triển khai trong các lĩnh vực cụ thể bằng cách cung cấp dữ liệu riêng tư, cảm biến và bộ truyền động cũng như các vòng phản hồi." Điều này hoàn toàn đúng. Trong một thế giới của các tác nhân AI, có một lớp dày hơn nhiều ở trên LLM so với những gì đã được nhận thức ban đầu. Sự chỉ trích về lớp mỏng đã hoạt động phần nào trong một thế giới mà mọi người đang đóng gói lại các token với một giao diện hoặc hệ thống nhắc nhở được tùy chỉnh nhẹ, điều này chủ yếu là những gì có thể thực hiện được 2 năm trước. Nhưng các tác nhân AI sẽ kết hợp các công cụ, dữ liệu độc quyền, các nhắc nhở hệ thống rất cụ thể theo miền, các giao diện chuyên biệt cho các phần có con người trong quy trình làm việc, kỹ thuật ngữ cảnh tiên tiến để xử lý các giới hạn của cửa sổ ngữ cảnh, và nhiều hơn nữa. Phần lớn trong số này sẽ hoạt động tốt hơn khi được điều chỉnh cho một lĩnh vực cụ thể, chức năng công việc hoặc loại nhiệm vụ. Hơn nữa, để có được sự chấp nhận thực sự trong doanh nghiệp, thường cần một mức độ tích hợp hệ thống và quản lý thay đổi nặng nề để thúc đẩy các thay đổi quy trình làm việc và sự chấp nhận. Đây là lý do tại sao các công ty (hoặc ít nhất là các sản phẩm) tập trung vào các cơ hội cụ thể thường sẽ được yêu cầu thực sự cung cấp năng lượng cho những quy trình làm việc này. Có rất nhiều cơ hội ở đây trong năm tới.

Đây là những điều thường bị bỏ qua khi suy nghĩ về tương lai của công việc. Nếu bạn có thể làm một điều gì đó đang có nhu cầu tương đối cao (nhưng khan hiếm vì tốn nhiều chi phí để thực hiện), và bạn làm cho điều đó có nhiều sản lượng hơn, bạn sẽ thấy nhu cầu tăng lên chứ không giảm đi. Tôi đã thấy nhiều ví dụ về các công ty thuê kỹ sư cho những vấn đề mà trước đây sẽ không có lợi nhuận ROI hoặc không thể thực hiện được trước khi có các tác nhân AI. Có rất nhiều công việc trong nền kinh tế nên được hỗ trợ bởi phần mềm nhưng rào cản để bắt đầu với phần mềm cảm thấy không thể vượt qua khi dự án có vẻ sẽ mất một hoặc hai năm. Khi AI làm cho nó chỉ mất một hoặc hai tháng, tất cả các phép tính đều thay đổi. Điều tương tự cũng sẽ đúng trong lĩnh vực chăm sóc sức khỏe, luật pháp, một số phần của tiếp thị, và nhiều danh mục công việc tri thức khác.