o teste do ácido litmus para saber se uma ideia de produto LLM é boa ou não é se um modelo de fronteira pode fazer 95%+ da tarefa agora mesmo, pronto para uso. se a resposta for sim — codificação; transcrição; pré-preenchimento de formulários; rag + chat — então agora é um bom momento.

na minha opinião, o pior lugar são os produtos onde os modelos estão a cerca de 80% do caminho. para fazer funcionar, você tem que fazer uma série de gestões de prompt, sobrepor conhecimentos especializados, etc. — em outras palavras, trabalhar para se posicionar para perder se os modelos melhorarem e perder se não melhorarem.

talvez você consiga adivinhar quão longe está ao pegar quão bons os modelos estão agora e dividindo a diferença para 95+ pelo quanto eles melhoraram na tarefa na geração mais recente. para muitas tarefas de 80%, isso provavelmente é tipo... 4-5 anos? mais tempo para agentes

em muitos destes setores, suspeito que os produtos incumbentes serão superados por novos entrantes exatamente por esta razão — eles terão investido capital na resolução de problemas que novos concorrentes resolverão diretamente a partir da API

além disso, eles terão o benefício de ter visto empresas de sucesso em outros setores resolver problemas de interface e crescimento (como vimos acontecer nas redes sociais e em SaaS)

especialmente verdadeiro porque suspeito que muitos produtos LLM já estão pressionados pela concorrência das grandes empresas a adotar modelos de negócios que são mais fáceis de abandonar, e assim terão pouco efeito de retenção quando melhores concorrentes surgirem