La consecuencia es que, gracias a los agentes de IA, cada pequeña empresa y emprendedor ahora dispone de los recursos de una empresa Fortune 500. La tecnología siempre ha consistido en producir más abundancia y un mejor acceso a un recurso determinado. Llevamos décadas haciendo esto con software, desde mainframe hasta cliente-servidor y nube. Cada uno de estos periodos hizo que la tecnología fuera 10-100 veces más accesible para más empresas. La IA hace lo mismo ahora en todas las áreas del trabajo del conocimiento. ¿Por qué la codificación de alta gama solo está disponible para un grupo microscópicamente pequeño de empresas en el mundo? ¿Por qué la gran mayoría de las empresas no pueden permitirse una gran publicidad? ¿Por qué solo un pequeño subconjunto de empresas recibe un gran asesoramiento legal, seguridad de software, investigación y casi todos los demás ámbitos del conocimiento? La IA aporta todas estas capacidades a empresas de todos los tamaños. Las mayores oportunidades en los agentes de IA son descubrir qué recursos la mayoría de las empresas siempre han querido pero nunca han podido permitirse ni encontrar antes.

Aquí está por qué la ingeniería del contexto es tan importante. Acabamos de pasar 2 horas debatiendo cuándo un agente debe basarse en su conocimiento interno frente a intentar encontrar contexto relevante dentro de los datos para un solo tipo de pregunta. Hemos pasado por 2 casos de prueba de cientos. Ni siquiera las personas implicadas en la lluvia de ideas podían ponerse de acuerdo en lo que esperarían que hicieran los humanos en esta situación. Realmente no había una respuesta correcta, y siempre depende del contexto de cada cliente. Todo en ingeniería de contexto es un equilibrio entre varios factores: ¿qué tan rápido quieres que el agente responda a una pregunta, cuánta interacción quieres que el usuario requiera de ida y vuelta, cuánto trabajo debe hacer antes de intentar responder a una pregunta, cómo sabe que tiene el material fuente exhaustivo para responder a la pregunta, ¿Cuál es el nivel de riesgo de la respuesta incorrecta, y así sucesivamente? Cada decisión que tomes en una de estas dimensiones tiene una consecuencia en el otro extremo. Nada es gratis. Por eso construir agentes de IA es tan loco. También resalta el valor que hay por encima de la capa LLM. Acertar en estas decisiones se relaciona directamente con la calidad de la propuesta de valor.

De la última publicación de Karpathy: "Las aplicaciones LLM organizarán, ajustarán y animarán equipos de ellos en profesionales desplegados en verticales específicas proporcionando datos privados, sensores, actuadores y bucles de retroalimentación." Esto es exactamente correcto. En un mundo de agentes de IA, hay una capa mucho más gruesa sobre el LLM de lo que se percibía inicialmente. La crítica a los wraps finos funcionó en cierto modo en un mundo donde la gente reempaquetaba tokens con una interfaz o prompt de sistema ligeramente personalizado, que era en gran medida lo único posible hace 2 años. Pero los agentes de IA combinarán herramientas, datos propietarios, prompts de sistema altamente específicos de dominio, interfaces especializadas para las partes humanas en el bucle de los flujos de trabajo, ingeniería de contexto avanzada para gestionar límites de ventanas de contexto y más. La gran mayoría de estos funcionan mejor cuando se adaptan a un sector específico, función laboral o tipo de tarea. Además, para lograr una adopción real en la empresa, generalmente se necesita un gran grado de integración de sistemas y gestión del cambio para impulsar los cambios y adopción de los flujos de trabajo. Por eso, las empresas (o al menos productos) centrados en oportunidades específicas suelen tener que impulsar realmente estos flujos de trabajo. Hay un montón de oportunidades aquí en el año que viene.