Лакмусовим критерієм для того, чи є ідея продукту LLM хорошою чи ні, є те, чи може модель Frontier виконати 95%+ завдань прямо з коробки. якщо відповідь «так» — код; пись; форму до популяції; Rag + чат — тоді зараз підходить.

На мою думку, найгірше — це продукти, де моделі вже на 80% шляху. Щоб це спрацювало, потрібно виконувати багато завдань з управління prompt-атаками, накладати експертні знання тощо — іншими словами, працювати над тим, щоб програти, якщо моделі покращуються, і програти, якщо ні

Можливо, ви зможете здогадатися, наскільки далеко ви знаходитеся, взявши нинішні моделі і розділивши розрив до 95+ на те, наскільки вони покращилися у виконанні завдання в останньому поколінні. Для багатьох завдань на 80% це, мабуть, як... 4-5 років? довше для агентів

У багатьох із цих вертикалей, я підозрюю, що існуючі продукти будуть випереджені новими учасниками саме з цієї причини — вони вклали капітал у розв'язання проблем, які нові конкуренти вирішать прямо з API

До того ж вони матимуть перевагу, побачивши, як успішні компанії в інших сферах вирішують проблеми інтерфейсу та зростання (як це ми бачили у соціальних мережах та SaaS).

Особливо це правда, оскільки я підозрюю, що багато продуктів LLM вже тиснуті конкуренцією великих компаній на впровадження бізнес-моделей, з яких легше працювати, і тому матимуть мало обмежень, коли з'являться кращі конкуренти