testem litmusowym dla oceny, czy pomysł na produkt LLM jest dobry, jest to, czy model frontier może wykonać 95%+ zadania już teraz, od razu. jeśli odpowiedź brzmi tak — kodowanie; spisywanie; wstępne wypełnianie formularzy; rag + czat — to teraz jest dobry czas.

moim zdaniem najgorsze są produkty, w których modele są na poziomie 80%. Aby to działało, musisz wykonać mnóstwo zarządzania podpowiedziami, nałożyć specjalistyczną wiedzę itd. — innymi słowy, musisz się ustawić tak, aby przegrać, jeśli modele się poprawią, i przegrać, jeśli się nie poprawią.

może możesz oszacować, jak daleko jesteś, biorąc pod uwagę, jak dobre są modele teraz i dzieląc różnicę do 95+ przez to, jak bardzo poprawiły się w zadaniu w najnowszej generacji. dla wielu zadań na poziomie 80% to prawdopodobnie jak… 4-5 lat? dłużej dla agentów

W wielu z tych obszarów podejrzewam, że istniejące produkty zostaną wyparte przez nowych graczy z dokładnie tego powodu — zainwestują kapitał w rozwiązywanie problemów, które nowi konkurenci rozwiążą bezpośrednio z API.

ponadto będą mieli korzyść z tego, że widzieli, jak udane firmy w innych branżach rozwiązują problemy z interfejsem i wzrostem (tak jak widzieliśmy to w mediach społecznościowych i SaaS)

jest to szczególnie prawdziwe, ponieważ podejrzewam, że wiele produktów LLM już zostało zmuszonych przez konkurencję dużych firm do przyjęcia modeli biznesowych, które są łatwiejsze do porzucenia, a więc będą miały małe przywiązanie, gdy pojawią się lepsi konkurenci.