企業知識問答真正困難的地方,經常不是「找不到相關段落」,而是找到了好幾個相似答案,卻不知道哪一個適用於現在這位使用者。向量相似度能協助召回候選,無法單獨判斷文件是否過期、條款是否有例外,或使用者是否有權看到來源。
這是我在《RAG 2026:當向量搜尋遇上代理推理》想釐清的問題。實務解法不該是把每題都交給多步 Agent,而是先用可量測的檢索基線回答簡單題,只有遇到跨文件、版本、條件衝突,才啟動較昂貴的精讀與驗證。
一個具體失敗:答對「帳號鎖定」,卻選錯系統
假設員工詢問:「公司帳號被鎖定,第一步要做什麼?」搜尋系統找到兩段高度相關的文件:
- 金控帳號鎖定的自助復原說明。
- 區網帳號鎖定的服務台作業程序。
兩段都包含「帳號」「鎖定」「解鎖」,相似度可能很高。若檢索把它們合併成同一個 context,生成模型可能給出語氣完整卻指向錯系統的步驟。
這類錯誤應優先從證據選擇與條件判斷診斷,而不只是把它歸咎於「模型幻覺」。正確的流程需先確認帳戶類型、使用者資格與來源有效日期;仍缺資訊就追問,不應自行猜測。
架構:便宜的召回層,接上有條件的驗證層
| 階段 | 主要問題 | 建議機制 | 不可跳過的檢查 |
|---|---|---|---|
| Route | 這是高信心 FAQ 還是複雜查詢? | Rule-first / 題型路由 | 規則版本、適用範圍 |
| Recall | 哪些文件可能相關? | BM25 + 向量檢索 + RRF 融合 | Tenant / ACL / 日期篩選 |
| Grade | 哪些候選真正回答當前問題? | Document grading、reranker、context validation | 來源、版本、身分條件、衝突 |
| Resolve | 是否需要多步查找? | 有界的 Agent 工具呼叫與改寫 | 次數、時間、成本與權限 |
| Answer | 可以提供什麼答案? | 引用、拒答或針對缺失條件追問 | 每個結論有可追溯證據 |
| Trace | 出錯要從哪一層改? | 檢索與決策事件紀錄 | 可重播、不記錄不必要的敏感資料 |
Rule-first 並不是繞過治理,而是將已驗證且條件清楚的常見問題導向較短路徑。若問題涉及政策例外或不同來源的矛盾,快速路徑必須能退出。
為什麼仍然需要向量搜尋?
向量搜尋擅長找「意思相近、詞語不同」的段落;BM25 等 lexical 方法擅長產品代碼、文件編號、專有名詞與字面精確匹配。兩者混合常值得當作基線,但Hybrid 一定比單一方法好不是定律,必須對固定題目測試 Recall、精確性與延遲。
代理層的價值也不是能保證「唯一真相」,而是能做出下一步可觀察、可限制的工作:先決定查哪一份文件、擷取控制性條款、檢查生效日期,再判斷該回答或拒答。沒有來源可佐證時,Agent 也應停止。
我們實際交件的 IT 知識問答案例
本站有一個已交付的 IT/流程知識問答 案例,可作為本文架構判斷的具體參照。它不是授信、投資建議或法遵決策系統。
系統路徑涵蓋混合召回(向量、BM25、RRF)、文件分級、context validation、證據不足時改寫或拒答;部分高信心 FAQ 經 rule-first 處理。以下數字僅適用其特定凍結 100 題評測與當時版本:
| 指標 | 紀錄數字 | 如何解讀 |
|---|---|---|
| Naive RAG | 87% | 該測試設定下的基線 |
| Hybrid-only | 83.5% | 同次消融設定下的分數,不代表 Hybrid 普遍比 Naive 差 |
| 完整 Agentic 流程 | 98% 加權分數 | 有部分給分,不等於 98 題完全正確 |
| 嚴格完全正確 | 96/100 | 與 98% 加權口徑不同 |
| 不安全結果 | 0 題 | 限本次凍結題集,不保證未來所有查詢 |
| 完整流程延遲 | P95 6.19 秒 | 包含該版治理路徑 |
| 後續 rule-first 路徑 | 平均 2.606 秒、P95 5.636 秒 | 另一條快速路徑的結果,不能取代完整流程 P95 |
這些是特定案例中的分數與延遲紀錄,不是一個可以直接推廣到所有企業或所有模型的研究結論。比較時也要確認題組、權重、模型、索引與工具版本是否一致。
參見 Agentic RAG 專案頁、金融 GenAI 平台工程 及 Agentic AI 平台契約。
決定什麼時候需要 Agent
先把需求分成三類:
- 簡單查找:找一份文件、查一個定義。使用 lexical/vector 檢索與精確引用,避免無謂的多步工具呼叫。
- 條件式問答:例如政策只適用特定員工或生效日。使用 metadata filter、文件分級、缺失條件追問;未必需要完整 Agent loop。
- 跨來源研究:需要拆解問題、比對相衝突文件、連續查詢多個系統。才考慮加入受限 Agent,記錄每次搜尋與判斷依據。
對第三類工作,要限制最大工具次數、Token、延遲與可存取資源。能使用確定規則驗證的地方,就不要只仰賴語言模型自我反思。
驗證鏈不是更多 Prompt,而是更好的錯誤定位
一條真正能營運的 RAG trace,至少要能回答:
- Recall:控制答案的來源是否進入候選集?
- Permission:候選是否通過查詢當下的權限檢查?
- Version:是否使用了已撤回或尚未生效的政策?
- Context:生成前的內容是否混入另一個帳戶、產品或租戶的資料?
- Answer:最終步驟是否被引用內容支持?若沒有,系統是否拒答?
- Release:知識或索引更新是否經過回歸測試,能否回到上一個版本?
將錯誤分成上述層次,才能知道該修解析、filter、reranker、Agent 工具流程,還是回答政策。只換更大的模型,往往會錯過真正的根因。
上線前的最小驗收
| 風險 | 必做測試 |
|---|---|
| 舊版文件誤用 | 新舊政策同時存在,檢查生效日期與歷史事件 |
| 同名系統混淆 | 相似關鍵字來自不同帳戶或業務單位 |
| 權限洩漏 | 跨租戶、群組異動、撤權與快取隔離 |
| 假引用 | 引用是否指向實際支持答案的段落 |
| Agent 過度探索 | 多輪查詢、重試與 timeout 下的成本上限 |
| 知識變更 | 發布前後固定題集、灰度與回滾 |
成功的 Agentic RAG 應同時有更好的證據與明確的成本界線。若同一批題目只要 Hybrid + reranker 就能達標,先維持簡單架構。
原始報告 PDF
此處保留原始簡報,供讀者對照本文的架構觀點:
方法來源
- Retrieval-Augmented Generation(Lewis et al.):檢索結合外部非參數記憶。
- ReAct(Yao et al.):交錯推理與工具動作。
- Self-RAG(Asai et al.):檢索決策與證據批判的反思機制。
本文的第一方 100 題數據與原始 PDF 並非上述論文的實驗結果;建議分開檢視研究方法與本站案例。