Những điều tôi rút ra được từ @Aish_Reganti và @KiritiBadam về việc xây dựng sản phẩm AI doanh nghiệp thành công: 1. Sản phẩm AI khác với phần mềm truyền thống ở hai điểm cơ bản: chúng không xác định trước, và bạn cần phải liên tục cân nhắc giữa quyền tự chủ và kiểm soát. Các quy trình phát triển sản phẩm truyền thống sẽ gặp khó khăn khi sản phẩm của bạn đưa ra những câu trả lời khác nhau cho cùng một đầu vào và có thể tự thực hiện các hành động. 2. Sự cân nhắc giữa quyền tự chủ và kiểm soát là quyết định thiết kế cốt lõi trong mọi sản phẩm AI. Aish và Kiriti định hình điều này như một phổ: ở một đầu, AI hoạt động tự động với ít rào cản; ở đầu kia, hệ thống bị hạn chế chặt chẽ với các quy tắc rõ ràng và có sự can thiệp của con người. Hầu hết các sản phẩm AI doanh nghiệp thành công nằm ở đâu đó giữa hai đầu, điều chỉnh kiểm soát một cách linh hoạt dựa trên điểm số tự tin, ngữ cảnh và rủi ro. 3. Hầu hết các thất bại của sản phẩm AI đến từ những sai lầm trong thực hiện, chứ không phải từ giới hạn của mô hình. Aish và Kiriti thấy các nhóm thường đổ lỗi cho LLM cơ bản khi vấn đề thực sự là phạm vi sản phẩm không rõ ràng, thiếu rào cản, hoặc quy trình hướng dẫn người dùng kém. Một mô hình mà 5% thời gian tạo ra thông tin sai lệch vẫn có thể cung cấp một sản phẩm tuyệt vời nếu bạn thiết kế UX để hiển thị điểm số tự tin, cho phép người dùng xác minh đầu ra và hạn chế nhiệm vụ. Thông tin có thể hành động: trước khi yêu cầu một mô hình tốt hơn, hãy kiểm tra thiết kế sản phẩm của bạn, đánh giá phạm vi và quy trình người dùng. Kỷ luật thực hiện quan trọng hơn hiệu suất mô hình trong hầu hết các trường hợp. 4. Sản phẩm AI V1 của bạn nên giải quyết một vấn đề hẹp, có giá trị cao với các rào cản chặt chẽ. Các nhóm thất bại khi cố gắng xây dựng một trợ lý hoặc đại diện đa năng ngay từ lần đầu tiên. Chọn một quy trình làm việc, tự động hóa một nhiệm vụ lặp đi lặp lại, hoặc trả lời một loại câu hỏi thật tốt. Phạm vi hẹp cho phép bạn thu thập phản hồi tập trung, điều chỉnh mô hình nhanh hơn và chứng minh giá trị trước khi mở rộng. Sự rộng lớn đến sau, khi bạn đã hoàn thiện vòng lặp cốt lõi. 5. Khả năng quan sát và ghi chép quan trọng hơn cho các sản phẩm AI so với phần mềm truyền thống, vì hành vi AI không xác định trước và khó gỡ lỗi hơn. Bạn nên ghi lại không chỉ lỗi mà còn cả điểm số tự tin của mô hình, đặc điểm đầu vào, các sửa đổi của người dùng và các chỉ số độ trễ. Khi có điều gì đó sai trong sản xuất, những bản ghi này là cách duy nhất để tái tạo những gì mô hình đã thấy và tại sao nó đưa ra quyết định cụ thể. Đầu tư vào cơ sở hạ tầng ghi chép sớm, trước khi bạn gặp khủng hoảng. 6. Các đánh giá là cần thiết nhưng không đủ. Các đánh giá giúp bạn đo lường hiệu suất mô hình trên các trường hợp thử nghiệm đã biết, nhưng chúng không nắm bắt được toàn bộ trải nghiệm sản phẩm, các trường hợp biên trong sản xuất, hoặc sự hài lòng của người dùng. Các nhóm chỉ dựa vào các đánh giá thường phát hành sản phẩm có điểm số tốt trong thử nghiệm nhưng thất bại trong thực tế. Kết hợp các đánh giá với việc giám sát liên tục, các vòng phản hồi của người dùng và công cụ quan sát để bắt những gì các bài kiểm tra tự động bỏ lỡ. 7. "Hiệu chỉnh liên tục" thay thế cho các chu kỳ phát triển sản phẩm lặp đi lặp lại truyền thống. Bởi vì các mô hình AI có thể thay đổi và kỳ vọng của người dùng thay đổi, các nhóm phải liên tục đo lường hiệu suất thực tế và điều chỉnh các lời nhắc, rào cản hoặc phiên bản mô hình. Aish và Kiriti khuyên bạn nên trang bị cho sản phẩm của mình để thu thập phản hồi của người dùng và đầu ra của mô hình ngay từ ngày đầu tiên, sau đó xem xét dữ liệu đó hàng tuần. Nếu không có hiệu chỉnh liên tục, sản phẩm AI của bạn sẽ suy giảm một cách âm thầm, và người dùng sẽ rời bỏ trước khi bạn nhận ra. 8. Triển khai liên tục cho AI có nghĩa là phát hành các bản cập nhật mô hình và thay đổi lời nhắc như mã, không phải can thiệp thủ công. Phần mềm truyền thống triển khai mã; các sản phẩm AI triển khai mã cộng với trọng số mô hình, lời nhắc và logic truy xuất. Aish và Kiriti ủng hộ việc coi các lời nhắc và cấu hình mô hình như các đối tượng có phiên bản trong quy trình CI/CD của bạn, với các bài kiểm tra hồi quy tự động thông qua các đánh giá. Điều này ngăn chặn mẫu chống lại phổ biến của các PM điều chỉnh lời nhắc trong giao diện người dùng và làm hỏng sản xuất. Lợi ích: bạn có thể lặp lại hành vi của mô hình một cách an toàn và quay lại các thay đổi xấu ngay lập tức. 9. Các sản phẩm AI thất bại vì các nhóm đánh giá thấp tầm quan trọng của chất lượng dữ liệu. Aish và Kiriti thấy các nhóm vội vàng tinh chỉnh các mô hình hoặc thêm tính năng mà không kiểm tra xem dữ liệu đào tạo và đánh giá của họ có thực sự phản ánh việc sử dụng trong thế giới thực hay không. Nguyên tắc "rác vào, rác ra" áp dụng gấp đôi cho AI: nếu dữ liệu của bạn đã lỗi thời, thiên lệch, hoặc không phù hợp với nhu cầu của người dùng, không có lượng kỹ thuật lời nhắc hay tinh chỉnh mô hình nào có thể cứu bạn. Bắt đầu bằng cách sắp xếp lại dữ liệu của bạn.