熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
我已經在生產環境中構建 AI 代理超過一年。
這裡是開發者在將代理擴展到生產時面臨的一個常見問題:
他們通常在向量、結構化數據和會話的不同服務之間周旋。
三個不同的連接池。三種備份策略。三個監控儀表板。
代理循環本身是簡單的,具有推理、工具和記憶,但基礎設施成為了瓶頸。
如果你想看到更清晰的處理方式,我使用 @MongoDB 作為所有內容的單一後端構建了一個代理。我與他們的團隊合作,將這個分享給你。
設置非常簡單:
↳ 從 PDF 文檔開始。代理將回答有關它的問題,同時記住過去的對話。
↳ 首先,將 PDF 切分並使用 Voyage AI 的模型進行嵌入。這些嵌入直接進入 MongoDB,並帶有向量索引。
↳ 然後你定義兩個工具:一個用於向量搜索,另一個用於基本計算(如果需要)。代理根據查詢決定使用哪一個。
↳ 記憶存儲在同一數據庫下的會話 ID 中。代理的每次互動都會寫回,因此它可以參考早期的回合。
↳ 計劃者將其綁定在一起。它查看對話歷史,決定是否需要工具,執行該工具,並生成最終回應。
這裡統一後端的重要性體現出來:
當代理搜索上下文時,它查詢的是存儲用戶會話和結構化數據的同一數據庫。
當它寫入記憶時,處理向量嵌入的也是同一個 MongoDB 實例。
...
熱門
排行
收藏
