o teste decisivo para saber se uma ideia de produto LLM é boa ou não é se um modelo Frontier consegue fazer 95%+ da tarefa agora desde o início. Se a resposta for sim — código; Scribing; da pré-população; Rag + Chat — Então agora é bom.

Na minha opinião, o pior ponto são produtos onde os modelos estão cerca de 80% do caminho. Para fazer funcionar, você precisa gerenciar muitos prompts, sobrepor conhecimento especializado etc. — em outras palavras, trabalhar para se posicionar para perder se os modelos melhorarem e perder se não melhorarem

Talvez você possa imaginar o quão longe está pegando a qualidade dos modelos agora e dividindo a diferença para 95+ pelo quanto eles melhoraram na tarefa na geração mais recente. Para muitas tarefas de 80% provavelmente é tipo... 4-5 anos? mais para agentes

Em muitos desses setores, suspeito que os produtos tradicionais serão superados por novos participantes exatamente por esse motivo — eles terão investido capital em resolver problemas que novos concorrentes vão resolver diretamente da API

Além disso, eles terão o benefício de ter visto empresas bem-sucedidas em outros setores resolvendo problemas de interface e crescimento (como vimos acontecer nas redes sociais e SaaS).

Especialmente porque suspeito que muitos produtos de LLM já estão sendo pressionados pela concorrência das grandes empresas a adotar modelos de negócios mais fáceis de vender, e assim terão pouco vínculo quando surgirem concorrentes melhores