la prueba de fuego para determinar si una idea de producto LLM es buena o no es si un modelo de frontera puede hacer el 95%+ de la tarea en este momento y sin necesidad de ajustes. si la respuesta es sí — codificación; transcripción; pre-población de formularios; rag + chat — entonces ahora es un buen momento.

en mi opinión, el peor lugar son los productos donde los modelos están como al 80% de su desarrollo. Para que funcione, tienes que hacer un montón de gestión de prompts, superponer conocimientos especializados, etc. — en otras palabras, trabajar para posicionarte para perder si los modelos mejoran y perder si no lo hacen.

quizás puedas adivinar cuán lejos estás tomando cuán buenos son los modelos ahora y dividiendo la brecha a 95+ por cuánto han mejorado en la tarea en la generación más reciente. para muchas tareas del 80%, eso probablemente sea como... ¿4-5 años? más tiempo para los agentes.

en muchos de estos sectores sospecho que los productos establecidos van a ser superados por nuevos entrantes precisamente por esta razón: habrán invertido capital en resolver problemas que los nuevos competidores resolverán directamente desde la API

además, tendrán el beneficio de haber visto a empresas exitosas en otros sectores resolver problemas de interfaz y crecimiento (como hemos visto en las redes sociales y el SaaS)

especialmente cierto porque sospecho que muchos productos de LLM ya están presionados por la competencia de grandes empresas para adoptar modelos de negocio que son más fáciles de abandonar, y por lo tanto tendrán poco efecto de retención cuando surjan mejores competidores.