我已經在生產環境中構建 AI 代理超過一年。 這裡是開發者在將代理擴展到生產時面臨的一個常見問題: 他們通常在向量、結構化數據和會話的不同服務之間周旋。 三個不同的連接池。三種備份策略。三個監控儀表板。 代理循環本身是簡單的,具有推理、工具和記憶,但基礎設施成為了瓶頸。 如果你想看到更清晰的處理方式,我使用 @MongoDB 作為所有內容的單一後端構建了一個代理。我與他們的團隊合作,將這個分享給你。 設置非常簡單: ↳ 從 PDF 文檔開始。代理將回答有關它的問題,同時記住過去的對話。 ↳ 首先,將 PDF 切分並使用 Voyage AI 的模型進行嵌入。這些嵌入直接進入 MongoDB,並帶有向量索引。 ↳ 然後你定義兩個工具:一個用於向量搜索,另一個用於基本計算(如果需要)。代理根據查詢決定使用哪一個。 ↳ 記憶存儲在同一數據庫下的會話 ID 中。代理的每次互動都會寫回,因此它可以參考早期的回合。 ↳ 計劃者將其綁定在一起。它查看對話歷史,決定是否需要工具,執行該工具,並生成最終回應。 這裡統一後端的重要性體現出來: 當代理搜索上下文時,它查詢的是存儲用戶會話和結構化數據的同一數據庫。 當它寫入記憶時,處理向量嵌入的也是同一個 MongoDB 實例。 ...