le test décisif pour savoir si une idée de produit LLM est bonne ou non est de savoir si un modèle de pointe peut réaliser 95 % ou plus de la tâche dès maintenant, sans préparation. si la réponse est oui — codage ; transcription ; pré-remplissage de formulaires ; rag + chat — alors c'est le bon moment.

à mon avis, le pire endroit est les produits où les modèles sont à environ 80 % de leur potentiel. Pour que cela fonctionne, vous devez faire beaucoup de gestion des invites, superposer des connaissances spécialisées, etc. — en d'autres termes, travailler pour vous positionner pour perdre si les modèles s'améliorent et perdre si ce n'est pas le cas.

peut-être que vous pouvez deviner à quelle distance vous êtes en prenant la qualité des modèles actuels et en divisant l'écart jusqu'à 95+ par l'amélioration qu'ils ont réalisée dans la tâche lors de la génération la plus récente. Pour beaucoup de tâches à 80%, cela représente probablement… 4-5 ans ? Plus longtemps pour les agents.

dans beaucoup de ces secteurs, je soupçonne que les produits établis vont être surpassés par de nouveaux entrants pour cette raison précise : ils auront investi des capitaux pour résoudre des problèmes que de nouveaux concurrents résoudront directement via l'API

de plus, ils bénéficieront d'avoir vu des entreprises prospères dans d'autres secteurs résoudre des problèmes d'interface et de croissance (comme nous l'avons vu se dérouler dans les médias sociaux et le SaaS)

c'est particulièrement vrai car je soupçonne que de nombreux produits LLM sont déjà contraints par la concurrence des grandes entreprises à adopter des modèles commerciaux plus faciles à abandonner, et donc auront peu de fidélisation lorsque de meilleurs concurrents émergeront