Voici pourquoi l'ingénierie contextuelle est si importante. Nous venons de passer 2 heures à débattre de quand un agent devrait s'appuyer sur ses connaissances internes par rapport à la recherche de contexte pertinent dans les données pour un seul type de question. Nous avons traité 2 cas de test sur des centaines. Même les personnes impliquées dans le brainstorming n'ont pas pu s'accorder sur ce qu'elles s'attendraient à ce que les humains fassent dans cette situation. Il n'y avait vraiment pas de bonne réponse, et c'est toujours spécifique au contexte, client par client. Tout dans l'ingénierie contextuelle est un compromis entre une variété de facteurs : à quelle vitesse voulez-vous que l'agent réponde à une question, combien d'interactions aller-retour voulez-vous exiger de l'utilisateur, combien de travail doit-il effectuer avant d'essayer de répondre à une question, comment sait-il qu'il dispose du matériel source exhaustif pour répondre à la question, quel est le niveau de risque d'une mauvaise réponse, et ainsi de suite. Chaque décision que vous prenez sur l'une de ces dimensions a des conséquences à l'autre extrémité. Il n'y a pas de repas gratuit. C'est pourquoi construire des agents IA est si fou. Cela met également en évidence combien de valeur il y a au-dessus de la couche LLM. Prendre ces décisions correctement est directement lié à la qualité de la proposition de valeur.

D'après le dernier post de Karpathy : "Les applications LLM organiseront, affineront et animeront réellement des équipes de professionnels déployés dans des secteurs spécifiques en fournissant des données privées, des capteurs, des actionneurs et des boucles de rétroaction." C'est exactement ça. Dans un monde d'agents IA, il y a une couche beaucoup plus épaisse au-dessus du LLM que ce qui était initialement perçu. La critique du thin wrapper a quelque peu fonctionné dans un monde où les gens reconditionnaient des tokens avec une interface ou un prompt système légèrement personnalisés, ce qui était largement tout ce qui était possible il y a 2 ans. Mais les agents IA combineront des outils, des données propriétaires, des prompts système très spécifiques à un domaine, des interfaces spécialisées pour les parties humaines des flux de travail, une ingénierie contextuelle avancée pour gérer les limites de la fenêtre contextuelle, et plus encore. La grande majorité de ceux-ci fonctionneront mieux lorsqu'ils seront adaptés à un secteur spécifique, une fonction de travail ou un type de tâche. De plus, pour obtenir une véritable adoption dans l'entreprise, un degré élevé d'intégration système et de gestion du changement est généralement nécessaire pour impulser les changements de flux de travail et l'adoption. C'est pourquoi les entreprises (ou du moins les produits) axées sur des opportunités spécifiques seront souvent nécessaires pour réellement alimenter ces flux de travail. Il y a énormément d'opportunités ici dans l'année à venir.

Ce sont des choses qui sont souvent négligées lorsqu'on pense à l'avenir des emplois. Si vous pouvez faire quelque chose qui est relativement en demande (mais rare parce que cela coûte cher à réaliser), et que vous parvenez à augmenter la production de cette chose, vous verrez la demande augmenter et non diminuer. J'ai vu de nombreux exemples d'entreprises embauchant des ingénieurs pour des problèmes qui n'auraient pas été rentables ou possibles avant l'existence des agents IA. Il y a beaucoup de travail dans l'économie qui devrait être facilité par des logiciels, mais la barrière pour commencer avec des logiciels semble insurmontable lorsque le projet semble prendre un an ou deux. Lorsque l'IA permet de le faire en un mois ou deux, tout le calcul change. Il en sera de même dans le secteur de la santé, le droit, certaines parties du marketing, et de nombreuses autres catégories de travail intellectuel.