Rekayasa konteks, dijelaskan dengan jelas (dengan visual): (panduan bergambar di bawah)

Jadi, apa itu rekayasa konteks? Ini adalah seni dan ilmu untuk menyampaikan informasi yang tepat, dalam format yang tepat, pada waktu yang tepat, ke LLM Anda. Berikut kutipan oleh Andrej Karpathy tentang rekayasa konteks... 👇

Untuk memahami rekayasa konteks, penting untuk terlebih dahulu memahami arti konteks. Agen saat ini telah berkembang menjadi lebih dari sekadar chatbot. Grafik di bawah ini merangkum 6 jenis konteks yang dibutuhkan agen untuk berfungsi dengan baik. Lihat 👇 ini

Sekarang, Anda harus tahu bahwa tidak cukup hanya "meminta" agen. Anda harus merekayasa input (konteks). Pikirkan seperti ini: 🧠 LLM = CPU 💾 Jendela Konteks = RAM Anda pada dasarnya memprogram "RAM" dengan instruksi sempurna untuk AI Anda. Terus... 👇

Jadi bagaimana kita melakukannya? Rekayasa konteks dapat dipecah menjadi 4 tahap mendasar: - Konteks Penulisan - Memilih Konteks - Mengompresi Konteks - Mengisolasi Konteks Mari kita pahami masing-masing, satu per satu... 👇

1️⃣ Konteks penulisan: Menulis konteks berarti menyimpannya di luar jendela konteks untuk membantu agen melakukan tugas. Anda dapat melakukannya dengan menuliskannya ke: - Memori jangka panjang (bertahan di seluruh sesi) - Memori jangka pendek (bertahan dalam sesi) - Objek status Periksa ini👇

2️⃣ Baca konteks: Membaca konteks berarti menariknya ke jendela konteks untuk membantu agen melakukan tugas. Sekarang konteks ini dapat diambil dari: - Alat -Ingatan - Basis pengetahuan (dokumen, DB vektor) Periksa ini👇

3️⃣ Mengompresi konteks Mengompresi konteks berarti hanya menyimpan token yang diperlukan untuk suatu tugas. Konteks yang diambil mungkin berisi informasi duplikat atau berlebihan (panggilan alat multi-putaran), yang mengarah ke token tambahan & peningkatan biaya. Ringkasan konteks membantu di sini. Periksa ini👇

4️⃣ Mengisolasi konteks Mengisolasi konteks melibatkan pemisahannya untuk membantu agen melakukan tugas. Beberapa cara populer untuk melakukannya adalah: - Menggunakan beberapa agen (atau sub-agen), masing-masing dengan konteksnya sendiri - Menggunakan lingkungan sandbox untuk penyimpanan dan eksekusi kode - Dan menggunakan objek status Periksa ini👇

Untuk meringkas, saya akan meninggalkan Anda dengan grafik rekayasa konteks. Juga, berikut adalah tumpukan sumber terbuka untuk rekayasa konteks: - Memori: @zep_ai - Basis pengetahuan: @milvusio - Orkestrasi agen: @crewAIInc - Observabilitas & penelusuran: @deepeval