Jednym z pierwszych agentów, których zbudowałem, był niezwykle prosty: Pobierał informacje z magazynu wektorowego, formatował je jako HTML i wysyłał je do użytkownika. Nie da się tego uprościć bardziej, a jednak ten agent zawodził około 1% czasu. Bez błędu. Bez ostrzeżenia. Po prostu zwracał śmieci. Oto surowa prawda: Agenci często zawodzą. I zawodzą w milczeniu. Cały czas. Po prostu nie można ufać LLM, że za każdym razem zrobi to, co należy. Do tej pory zbudowałem i wdrożyłem kilka tuzinów agentów, a oto niektóre z rzeczy, które naprawdę działają: 1. Obserwowalność od pierwszego dnia. Jeśli nie możesz zobaczyć, co robi twój agent, nie możesz go debugować, poprawiać ani mu ufać. Każdy agent powinien produkować ślady pokazujące pełny przepływ żądań, interakcje modelu, użycie tokenów i metadane czasowe. 2. Ograniczenia na wejściach i wyjściach. Wszystko, co wchodzi i wychodzi z LLM, powinno być sprawdzane przez deterministyczny kod. Nawet rzeczy, które prawdopodobnie nie zawiodą, w końcu zawiodą. 3. Ocena LLM-jako-sędziego. Możesz zbudować prostego sędziego używając LLM, aby automatycznie oceniać wyniki twojego agenta. Oznacz zbiór danych, napisz podpowiedź oceny i iteruj, aż twój sędzia wychwyci większość błędów. 4. Analiza błędów. Możesz zbierać próbki błędów, kategoryzować je i diagnozować najczęstsze pomyłki. 5. Inżynieria kontekstu. Często agenci zawodzą, ponieważ ich kontekst jest hałaśliwy, przeciążony lub nieistotny. Nauka, jak utrzymać kontekst istotny, jest ogromna. 6. Pętle informacji zwrotnej od ludzi. Czasami najlepszym ograniczeniem jest człowiek w pętli, szczególnie w przypadku decyzji o wysokiej stawce.