bài kiểm tra quyết định xem một ý tưởng sản phẩm LLM có tốt hay không là liệu một mô hình tiên tiến có thể thực hiện 95%+ nhiệm vụ ngay bây giờ mà không cần điều chỉnh. nếu câu trả lời là có — mã hóa; ghi chép; tự động điền biểu mẫu; rag + trò chuyện — thì bây giờ là thời điểm tốt.

theo tôi, vị trí tồi tệ nhất là những sản phẩm mà các mô hình đã đạt khoảng 80% tiến độ. Để làm cho nó hoạt động, bạn phải thực hiện một loạt các quản lý prompt, kiến thức chuyên môn bổ sung, v.v. — nói cách khác, làm việc để định vị bản thân để thua nếu các mô hình cải thiện và thua nếu chúng không cải thiện.

có thể bạn có thể đoán xem bạn còn xa bao nhiêu bằng cách lấy mức độ tốt của các mô hình hiện tại và chia khoảng cách đến 95+ cho mức độ cải thiện của chúng trong nhiệm vụ ở thế hệ gần đây nhất. đối với nhiều nhiệm vụ 80%, có lẽ khoảng... 4-5 năm? lâu hơn cho các tác nhân.

Trong nhiều lĩnh vực này, tôi nghi ngờ rằng các sản phẩm hiện tại sẽ bị đánh bại bởi những người mới tham gia vì lý do chính xác này — họ sẽ đã đầu tư vốn vào việc giải quyết các vấn đề mà các đối thủ mới sẽ giải quyết ngay từ API.

hơn nữa, họ sẽ có lợi thế khi đã thấy những công ty thành công trong các lĩnh vực khác giải quyết các vấn đề về giao diện và tăng trưởng (như chúng ta đã thấy diễn ra trong mạng xã hội và saas)

đặc biệt đúng vì tôi nghi ngờ rằng nhiều sản phẩm LLM đã bị cạnh tranh từ các công ty lớn ép buộc phải áp dụng các mô hình kinh doanh dễ dàng bị rút lui, và do đó sẽ có ít sự ràng buộc khi các đối thủ cạnh tranh tốt hơn xuất hiện