当社のインフラチームは、「コンテキストエンジニアリング」の概念を次のように分解します。 @martin_casado - 「モデルを呼ぶ場合は、コンテキストに何を入れるべきかを知っておく必要があります...いつかは、従来のコンピューターサイエンスを使用するでしょう。」 @JenniferHli - 「このコンテキストエンジニアリングの一部になる必要があるインフラの新しいフォームファクターは何ですか?...エージェントに、これらのシステムの検出と可観測性の保証を提供するツールやインフラストラクチャをどのように使用させるのでしょうか?」 「新しいインフラストラクチャの部分は、ソフトウェアと構築システムの新しいパターンと方法を作成します。これは、それが私たちの目の前に現れた素晴らしい例です。」
Andrej Karpathy
Andrej Karpathy2025年6月25日
「プロンプトエンジニアリング」よりも「コンテキストエンジニアリング」が+1。 人々は、プロンプトを、日常の使用でLLMに付与する短いタスクの説明と関連付けます。すべての産業用LLMアプリにおいて、コンテキストエンジニアリングは、次のステップのための適切な情報でコンテキストウィンドウを埋める繊細な芸術と科学です。科学は、これを正しく行うには、タスクの説明と説明、いくつかのショットの例、RAG、関連(おそらくマルチモーダル)データ、ツール、状態と履歴、圧縮...小さすぎるか、形式が間違っていると、LLM には最適なパフォーマンスを得るための適切なコンテキストがありません。多すぎたり、無関係すぎたりすると、LLMのコストが上昇し、パフォーマンスが低下する可能性があります。これをうまく行うことは、非常に簡単ではありません。そして、人々の精神のLLM心理学の周りに指導的な直感のための芸術。 コンテキストエンジニアリング自体に加えて、LLMアプリは次のことを行う必要があります。 - 問題を制御フローに適切に分割する - コンテキストウィンドウを適切に詰め込む - 適切な種類と能力のLLMに通話をディスパッチする - 生成検証 UIUX フローの処理 - その他にもたくさん - ガードレール、セキュリティ、評価、並列処理、プリフェッチなど つまり、コンテキストエンジニアリングは、個々のLLM呼び出し(およびその他多くの呼び出し)を完全なLLMアプリに調整する、重要なソフトウェアという新しい厚い層のほんの一部にすぎません。ChatGPTラッパー」という言葉は使い古され、本当に、本当に間違っています。
869