Kontextové inženýrství, jasně vysvětlené (s vizuály): (níže je ilustrovaný průvodce)

Co tedy je to context engineering? Je to umění a věda – doručit správné informace, ve správném formátu, ve správný čas, vašemu LLM. Tady je citát od Andreje Karpathyho o kontextovém inženýrství... 👇

Abychom pochopili kontextové inženýrství, je nejprve nutné pochopit význam kontextu. Dnešní agenti se vyvinuli v mnohem víc než jen chatboty. Níže uvedený graf shrnuje 6 typů kontextů, které agent potřebuje k správnému fungování. Podívejte se na 👇 to

Už byste měli vědět, že nestačí jen "napomínat" agenty. Musíte si vstup (kontext) upravit. Představte si to takto: 🧠 LLM = CPU 💾 Kontextové okno = RAM V podstatě programujete "RAM" s dokonalými instrukcemi pro vaši AI. pokračující... 👇

Tak jak to uděláme? Kontextové inženýrství lze rozdělit do 4 základních fází: - Kontext psaní - Výběr kontextu - Komprese kontextu - Izolace kontextu Pojďme si to vysvětlit, jeden po druhém... 👇

1️⃣ Kontext psaní: Psaní kontextu znamená ukládat ho mimo kontextové okno, aby agentovi pomohl vykonat úkol. Můžete to udělat tak, že ji napíšete na: - Dlouhodobá paměť (přetrvává napříč sezením) - Krátkodobá paměť (přetrvává během sezení) - Stavový objekt Podívej se na to👇

2️⃣ Přečtěte si kontext: Čtení kontextu znamená jeho natažení do kontextového okna, aby agentovi pomohl vykonat úkol. Tento kontext lze nyní vyvodit z: - Nástroj -Paměť - Znalostní báze (docs, vektorová databáze) Podívej se na to👇

3️⃣ Komprese kontextu Komprese kontextu znamená ponechat si pouze tokeny potřebné pro daný úkol. Získaný kontext může obsahovat duplicitní nebo redundantní informace (víceotáčkové volání nástrojů), což vede k dalším tokenům a zvýšeným nákladům. Shrnutí kontextu zde pomáhá. Podívej se na to👇

4️⃣ Izolující kontext Izolace kontextu znamená jeho rozdělení, aby agentovi pomohla vykonat úkol. Mezi oblíbené způsoby patří: - Použití více agentů (nebo podagentů), z nichž každý má svůj vlastní kontext - Použití sandboxového prostředí pro ukládání a provádění kódu - A použití stavového objektu Podívej se na to👇

Abych to shrnul, nechám vás u kontextové inženýrské grafiky. Také zde je open-source stack pro context engineering: - Paměť: @zep_ai - Znalostní báze: @milvusio - Orchestrace agentů: @crewAIInc - Pozorovatelnost a trasování: @deepeval