La consecuencia es que, gracias a los agentes de IA, cada pequeña empresa y emprendedor ahora tiene a su disposición los recursos de una empresa Fortune 500. La tecnología siempre ha tratado de producir más abundancia y un mejor acceso a un recurso determinado. Hemos hecho esto con software durante décadas, desde mainframe hasta cliente-servidor y la nube. Cada uno de estos períodos hizo que la tecnología fuera de 10 a 100 veces más accesible para más empresas. La IA hace lo mismo ahora para todas las áreas del trabajo del conocimiento. ¿Por qué la programación de alto nivel solo está disponible para un conjunto microscópicamente pequeño de empresas en el mundo? ¿Por qué la gran mayoría de las empresas no pueden permitirse una buena publicidad? ¿Por qué solo un pequeño subconjunto de empresas recibe un gran asesoramiento legal, seguridad de software, investigación y casi todos los demás dominios del trabajo del conocimiento? La IA trae todas estas capacidades a empresas de todos los tamaños. Las mayores oportunidades en los agentes de IA son descubrir qué recursos han querido siempre la mayoría de las empresas, pero que nunca han podido permitirse o encontrar antes.

Aquí está el porqué de que la ingeniería de contexto sea un gran problema. Acabamos de pasar 2 horas debatiendo cuándo un agente debería confiar en su conocimiento interno frente a intentar encontrar contexto relevante dentro de los datos para solo un tipo de pregunta. Solo logramos avanzar en 2 casos de prueba de cientos. Incluso las personas involucradas en la lluvia de ideas no pudieron ponerse de acuerdo sobre lo que esperarían que hicieran los humanos en esta situación. Realmente no había una respuesta correcta, y siempre es específica del contexto, cliente por cliente. Todo en la ingeniería de contexto es un compromiso entre una variedad de factores: ¿qué tan rápido quieres que el agente responda a una pregunta?, ¿cuánta interacción de ida y vuelta quieres requerir del usuario?, ¿cuánto trabajo debería hacer antes de intentar responder a una pregunta?, ¿cómo sabe que tiene el material fuente exhaustivo para responder a la pregunta?, ¿cuál es el nivel de riesgo de la respuesta incorrecta?, y así sucesivamente. Cada decisión que tomas en una de estas dimensiones tiene una consecuencia en el otro extremo. No hay almuerzo gratis. Por eso es tan emocionante construir agentes de IA. También resalta cuánto valor hay por encima de la capa de LLM. Tomar estas decisiones correctamente se relaciona directamente con la calidad de la propuesta de valor.

De la última publicación de Karpathy: "Las aplicaciones de LLM organizarán, ajustarán y animarán equipos de ellos en profesionales desplegados en verticales específicas al proporcionar datos privados, sensores, actuadores y bucles de retroalimentación." Esto es exactamente correcto. En un mundo de agentes de IA, hay una capa mucho más gruesa sobre el LLM de lo que se percibió inicialmente. La crítica del envoltorio delgado funcionó en un mundo donde las personas estaban reempaquetando tokens con una interfaz o un aviso del sistema ligeramente personalizados, que era prácticamente todo lo que era posible hace 2 años. Pero los agentes de IA combinarán herramientas, datos propietarios, avisos del sistema altamente específicos de dominio, interfaces especializadas para las partes de los flujos de trabajo que involucran a humanos, ingeniería de contexto avanzada para lidiar con los límites de la ventana de contexto, y más. La gran mayoría de estos funcionará mejor cuando se adapten a un vertical específico, función laboral o tipo de tarea. Además, para lograr una adopción real en la empresa, generalmente se necesita un alto grado de integración de sistemas y gestión del cambio para impulsar los cambios en los flujos de trabajo y la adopción. Por eso, las empresas (o al menos los productos) centrados en oportunidades específicas a menudo serán necesarios para realmente impulsar estos flujos de trabajo. Hay toneladas de oportunidades aquí en el año que viene.