Agentic RAG 的軌跡評估

系列 · 1 篇

← 返回論文精讀

  • Predicting Partial Answer Quality：讓 Agentic RAG 在下一輪以前知道是否值得繼續

    進階
    Agentic RAG 的軌跡評估: Part 1 , 筆記: 2026年9月17日 , 論文: 2026 , Information Retrieval

    深讀 Predicting Partial Answer Quality and Utility in Agentic Retrieval-Augmented Generation：把每輪中間答案的 quality、utility 與 trajectory signals 變成 early-stopping controller，並檢查節省迭代的證據與轉移邊界。

    90 秒掌握這篇論文
    問題
    Agentic RAG 在多輪 query、retrieve、read、reasoning 之後才產生最終答案；如果每個 instance 都跑到自然停止，可能在答案已經足夠後繼續花成本，也可能在已經失敗時反覆搜尋。論文問的是：能不能在每一輪的 partial answer 出現時預測它的 quality 與 utility？
    核心洞見
    partial quality 與 incremental utility 是兩個不同 target。Quality 問「現在的 answer 有多接近 ground truth」，utility 問「從上一輪到現在增加了多少」；前者較可預測，後者的正負方向更受 trajectory、retrieval noise 與 task 影響。
    最強證據
    作者在 Search-R1 與 R1-Searcher 的 HotpotQA、2WikiMultiHopQA、MuSiQue 上測試 supervised 與 unsupervised predictors。Search-R1 的 quality Pearson 最高約 0.438、utility 最高約 0.321；controller 在 thetaP=0.3、thetaU=0.2 時將平均 iterations 由 3.21 降至 2.86，減少 10.89%，保留 97.60% 的自然停止品質。
    主要邊界
    partial answer 以 F1 against gold answer probe；它不等於 open-ended answer quality，也不代表 threshold 能直接轉移到新的 retriever、model、corpus、答案型態或 controller。probing 本身還需要 generation cost。
    進入完整精讀

歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。

演講與聯絡