A consequência é que, por causa dos agentes de IA, toda pequena empresa e empreendedor agora tem os recursos de uma Fortune 500 à disposição. A tecnologia sempre foi sobre produzir mais abundância e melhor acesso a um determinado recurso. Fazemos isso com software há décadas, desde mainframe até cliente-servidor e nuvem. Cada um desses períodos tornou a tecnologia 10 a 100 vezes mais acessível para mais empresas. A IA faz o mesmo agora para todas as áreas do trabalho do conhecimento. Por que a codificação de alto nível está disponível apenas para um grupo microscopicamente pequeno de empresas no mundo? Por que a grande maioria das empresas não consegue pagar por uma ótima publicidade? Por que apenas um pequeno grupo de empresas recebe um ótimo aconselhamento jurídico, segurança de software, pesquisa e quase todas as outras áreas do conhecimento? A IA traz todas essas capacidades para empresas de todos os tamanhos. As maiores oportunidades em agentes de IA são descobrir quais recursos a maioria das empresas sempre quis, mas nunca conseguiu pagar ou encontrar antes.

Veja por que a engenharia de contexto é tão importante. Acabamos de passar 2 horas debatendo quando um agente deve confiar em seu conhecimento interno versus tentar encontrar contexto relevante dentro dos dados para apenas um tipo de pergunta. Passamos por 2 casos de teste de centenas. Nem mesmo as pessoas envolvidas no brainstorm concordaram sobre o que esperariam que os humanos fizessem nessa situação. Realmente não havia uma resposta certa, e sempre depende do contexto de cada cliente. Tudo em engenharia de contexto é um equilíbrio entre vários fatores: quão rápido você quer que o agente responda a uma pergunta, quanta interação você quer exigir do usuário, quanto trabalho ele deve fazer antes de tentar responder uma pergunta, como ele sabe que tem o material de origem exaustivo para responder à pergunta, Qual é o nível de risco da resposta errada, e assim por diante. Cada decisão que você toma em uma dessas dimensões tem uma consequência do outro lado. Não existe nada de graça. É por isso que construir agentes de IA é tão louco. Também destaca o quanto há de valor acima da camada do LLM. Acertar essas decisões está diretamente relacionado à qualidade da proposta de valor.

Do post mais recente de Karpathy: "Os aplicativos LLM vão organizar, ajustar e realmente animar equipes deles em profissionais implantados em setores específicos, fornecendo dados privados, sensores, atuadores e loops de feedback." Isso é exatamente isso. Em um mundo de agentes de IA, há uma camada muito mais espessa acima do LLM do que se percebia inicialmente. A crítica ao invólucro fino funcionou um pouco em um mundo onde as pessoas reembalavam tokens com uma interface levemente personalizada ou prompt do sistema, o que era praticamente tudo o que era possível há 2 anos. Mas os agentes de IA combinarão ferramentas, dados proprietários, prompts de sistema altamente específicos do domínio, interfaces especializadas para as partes humanas no loop dos fluxos de trabalho, engenharia de contexto avançada para lidar com limites de janelas de contexto e muito mais. A grande maioria desses desempenhos terá melhor desempenho quando adaptada a um setor específico, função ou tipo de tarefa. Além disso, para obter uma adoção real nas empresas, geralmente é necessário um grande grau de integração de sistemas e gestão de mudanças para impulsionar as mudanças e adoção do fluxo de trabalho. É por isso que empresas (ou pelo menos produtos) focadas em oportunidades específicas muitas vezes serão necessárias para realmente impulsionar esses fluxos de trabalho. Muitas oportunidades aqui no ano que vem.