判斷一個 LLM 產品想法是否好的試金石在於，當前是否有前沿模型能夠即時完成 95% 以上的任務。如果答案是肯定的——編碼；記錄；表單預填；rag + 聊天——那麼現在就是好時機。

在我看來，最糟糕的情況是產品的模型大約完成了80%。要使其運作，你必須進行大量的提示管理、疊加專業知識等——換句話說，無論模型是否改進，你都在為失敗而努力。

也許你可以通過現在模型的優劣來猜測你距離目標有多遠，將95以上的差距除以它們在最近一代任務中的改進程度。對於許多80%的任務，這可能大約是……4-5年？對於代理則更長。

在許多這些領域，我懷疑現有產品將因為這個原因被新進入者擊敗——他們將資本投入到解決問題上，而新競爭者將直接從 API 解決這些問題。

此外，他們將受益於看到其他領域成功的公司解決介面和增長問題（就像我們在社交媒體和SaaS中看到的那樣）

這一點尤其成立，因為我懷疑許多大型語言模型產品已經被大型公司競爭壓迫，採用了更容易被取代的商業模式，因此當更好的競爭者出現時，將幾乎沒有客戶鎖定。