← 部落格

工程筆記

Agentic RAG:向量搜尋遇上代理推理

Agentic RAG:向量搜尋遇上代理推理

企業知識問答真正困難的地方,經常不是「找不到相關段落」,而是找到了好幾個相似答案,卻不知道哪一個適用於現在這位使用者。向量相似度能協助召回候選,無法單獨判斷文件是否過期、條款是否有例外,或使用者是否有權看到來源。

這是我在《RAG 2026:當向量搜尋遇上代理推理》想釐清的問題。實務解法不該是把每題都交給多步 Agent,而是先用可量測的檢索基線回答簡單題,只有遇到跨文件、版本、條件衝突,才啟動較昂貴的精讀與驗證。

一個具體失敗:答對「帳號鎖定」,卻選錯系統

假設員工詢問:「公司帳號被鎖定,第一步要做什麼?」搜尋系統找到兩段高度相關的文件:

  • 金控帳號鎖定的自助復原說明。
  • 區網帳號鎖定的服務台作業程序。

兩段都包含「帳號」「鎖定」「解鎖」,相似度可能很高。若檢索把它們合併成同一個 context,生成模型可能給出語氣完整卻指向錯系統的步驟。

這類錯誤應優先從證據選擇與條件判斷診斷,而不只是把它歸咎於「模型幻覺」。正確的流程需先確認帳戶類型、使用者資格與來源有效日期;仍缺資訊就追問,不應自行猜測。

架構:便宜的召回層,接上有條件的驗證層

階段主要問題建議機制不可跳過的檢查
Route這是高信心 FAQ 還是複雜查詢?Rule-first / 題型路由規則版本、適用範圍
Recall哪些文件可能相關?BM25 + 向量檢索 + RRF 融合Tenant / ACL / 日期篩選
Grade哪些候選真正回答當前問題?Document grading、reranker、context validation來源、版本、身分條件、衝突
Resolve是否需要多步查找?有界的 Agent 工具呼叫與改寫次數、時間、成本與權限
Answer可以提供什麼答案?引用、拒答或針對缺失條件追問每個結論有可追溯證據
Trace出錯要從哪一層改?檢索與決策事件紀錄可重播、不記錄不必要的敏感資料

Rule-first 並不是繞過治理,而是將已驗證且條件清楚的常見問題導向較短路徑。若問題涉及政策例外或不同來源的矛盾,快速路徑必須能退出。

為什麼仍然需要向量搜尋?

向量搜尋擅長找「意思相近、詞語不同」的段落;BM25 等 lexical 方法擅長產品代碼、文件編號、專有名詞與字面精確匹配。兩者混合常值得當作基線,但Hybrid 一定比單一方法好不是定律,必須對固定題目測試 Recall、精確性與延遲。

代理層的價值也不是能保證「唯一真相」,而是能做出下一步可觀察、可限制的工作:先決定查哪一份文件、擷取控制性條款、檢查生效日期,再判斷該回答或拒答。沒有來源可佐證時,Agent 也應停止。

我們實際交件的 IT 知識問答案例

本站有一個已交付的 IT/流程知識問答 案例,可作為本文架構判斷的具體參照。它不是授信、投資建議或法遵決策系統。

系統路徑涵蓋混合召回(向量、BM25、RRF)、文件分級、context validation、證據不足時改寫或拒答;部分高信心 FAQ 經 rule-first 處理。以下數字僅適用其特定凍結 100 題評測與當時版本:

指標紀錄數字如何解讀
Naive RAG87%該測試設定下的基線
Hybrid-only83.5%同次消融設定下的分數,不代表 Hybrid 普遍比 Naive 差
完整 Agentic 流程98% 加權分數有部分給分,不等於 98 題完全正確
嚴格完全正確96/100與 98% 加權口徑不同
不安全結果0 題限本次凍結題集,不保證未來所有查詢
完整流程延遲P95 6.19 秒包含該版治理路徑
後續 rule-first 路徑平均 2.606 秒、P95 5.636 秒另一條快速路徑的結果,不能取代完整流程 P95

這些是特定案例中的分數與延遲紀錄,不是一個可以直接推廣到所有企業或所有模型的研究結論。比較時也要確認題組、權重、模型、索引與工具版本是否一致。

參見 Agentic RAG 專案頁、金融 GenAI 平台工程 及 Agentic AI 平台契約。

決定什麼時候需要 Agent

先把需求分成三類:

  1. 簡單查找:找一份文件、查一個定義。使用 lexical/vector 檢索與精確引用,避免無謂的多步工具呼叫。
  2. 條件式問答:例如政策只適用特定員工或生效日。使用 metadata filter、文件分級、缺失條件追問;未必需要完整 Agent loop。
  3. 跨來源研究:需要拆解問題、比對相衝突文件、連續查詢多個系統。才考慮加入受限 Agent,記錄每次搜尋與判斷依據。

對第三類工作,要限制最大工具次數、Token、延遲與可存取資源。能使用確定規則驗證的地方,就不要只仰賴語言模型自我反思。

驗證鏈不是更多 Prompt,而是更好的錯誤定位

一條真正能營運的 RAG trace,至少要能回答:

  • Recall:控制答案的來源是否進入候選集?
  • Permission:候選是否通過查詢當下的權限檢查?
  • Version:是否使用了已撤回或尚未生效的政策?
  • Context:生成前的內容是否混入另一個帳戶、產品或租戶的資料?
  • Answer:最終步驟是否被引用內容支持?若沒有,系統是否拒答?
  • Release:知識或索引更新是否經過回歸測試,能否回到上一個版本?

將錯誤分成上述層次,才能知道該修解析、filter、reranker、Agent 工具流程,還是回答政策。只換更大的模型,往往會錯過真正的根因。

上線前的最小驗收

風險必做測試
舊版文件誤用新舊政策同時存在,檢查生效日期與歷史事件
同名系統混淆相似關鍵字來自不同帳戶或業務單位
權限洩漏跨租戶、群組異動、撤權與快取隔離
假引用引用是否指向實際支持答案的段落
Agent 過度探索多輪查詢、重試與 timeout 下的成本上限
知識變更發布前後固定題集、灰度與回滾

成功的 Agentic RAG 應同時有更好的證據與明確的成本界線。若同一批題目只要 Hybrid + reranker 就能達標,先維持簡單架構。

原始報告 PDF

此處保留原始簡報,供讀者對照本文的架構觀點:

方法來源

本文的第一方 100 題數據與原始 PDF 並非上述論文的實驗結果;建議分開檢視研究方法與本站案例。