Inżynieria kontekstu, jasno wyjaśniona (z wizualizacjami): (poniżej ilustracyjny przewodnik)

Cóż, czym jest inżynieria kontekstu? To sztuka i nauka dostarczania właściwych informacji, w odpowiednim formacie, w odpowiednim czasie, do twojego LLM. Oto cytat od Andreja Karpathy'ego na temat inżynierii kontekstu...👇

Aby zrozumieć inżynierię kontekstu, najpierw należy zrozumieć znaczenie kontekstu. Agenci dzisiaj ewoluowali w coś znacznie więcej niż tylko chatboty. Grafika poniżej podsumowuje 6 typów kontekstów, które agent potrzebuje, aby prawidłowo funkcjonować. Sprawdź to 👇

Do tej pory powinieneś wiedzieć, że samo "wywołanie" agentów to za mało. Musisz zaprojektować wejście (kontekst). Pomyśl o tym w ten sposób: 🧠 LLM = CPU 💾 Okno kontekstowe = RAM W zasadzie programujesz "RAM" idealnymi instrukcjami dla swojego AI. ciąg dalszy...👇

Jak więc to robimy? Inżynierię kontekstu można podzielić na 4 podstawowe etapy: - Pisanie kontekstu - Wybieranie kontekstu - Kompresowanie kontekstu - Izolowanie kontekstu Zrozummy każdy z nich, jeden po drugim...👇

1️⃣ Kontekst pisania: Kontekst pisania oznacza zapisywanie go poza oknem kontekstowym, aby pomóc agentowi w wykonaniu zadania. Możesz to zrobić, zapisując go w: - Pamięci długoterminowej (utrzymuje się przez sesje) - Pamięci krótkoterminowej (utrzymuje się w ramach sesji) - Obiekcie stanu Sprawdź to👇

2️⃣ Przeczytaj kontekst: Czytanie kontekstu oznacza wciągnięcie go do okna kontekstowego, aby pomóc agentowi w wykonaniu zadania. Teraz ten kontekst można wciągnąć z: - Narzędzia - Pamięci - Bazy wiedzy (dokumenty, baza wektorowa) Sprawdź to👇

3️⃣ Kompresowanie kontekstu Kompresowanie kontekstu oznacza zachowanie tylko tych tokenów, które są potrzebne do wykonania zadania. Pobrany kontekst może zawierać duplikaty lub zbędne informacje (wielokrotne wywołania narzędzi), co prowadzi do dodatkowych tokenów i zwiększonych kosztów. Podsumowanie kontekstu pomaga w tej kwestii. Sprawdź to👇

4️⃣ Izolowanie kontekstu Izolowanie kontekstu polega na jego podzieleniu, aby pomóc agentowi w wykonaniu zadania. Niektóre popularne sposoby na to to: - Użycie wielu agentów (lub podagentów), z których każdy ma swój własny kontekst - Użycie środowiska piaskownicy do przechowywania i wykonywania kodu - I użycie obiektu stanu Sprawdź to👇

Podsumowując, zostawiam Was z grafiką inżynierii kontekstu. Oto również stos open-source do inżynierii kontekstu: - Pamięć: @zep_ai - Baza wiedzy: @milvusio - Orkiestracja agentów: @crewAIInc - Obserwowalność i śledzenie: @deepeval