← 部落格

深度指南

RAG 論文怎麼讀:從向量檢索 DPR 到 Lewis RAG

先看 2020 經典怎麼接到站上已有的檢索論文,再決定下一篇讀哪一篇。

RAG 論文怎麼讀:從向量檢索 DPR 到 Lewis RAG

建議把本頁加入書籤。 論文閱讀總覽 已有三條閱讀路徑。若你剛讀完 DPRLewis RAG,想知道這兩篇 2020 經典如何銜接、下一篇該讀哪篇,本頁提供一張關係圖與三種閱讀路線。

這不是新的論文筆記,也不取代各篇筆記裡的六個 Paper Essence 問題。它只回答:節點怎麼連、控制點改在哪、下一篇該點哪一條連結。姊妹定向頁是 AI Agent 論文怎麼讀:從 CoT、WebGPT 到 ReAct(Agent vs Retrieval)。

九十秒心智模型

  1. 第一階段稀疏檢索(BM25/TF-IDF)是 DPR 必須勝過的預設。站上的 BM25 at scale 是後續研究:談的是語料變大之後的準確率—成本曲線,不是 2020 開放域 QA 那套協議。
  2. DPR(Karpukhin et al., 2020)把第一階段檢索改成 dense 雙編碼器(NQ top-20 78.4 vs BM25 59.1;搭配抽取式 reader 的 Exact Match 41.5)。Lewis RAG(Lewis et al., 2020)把生成改成條件化於取回的 Wikipedia 段落 zz(NQ RAG-Seq Exact Match 44.5)。兩張表不要混讀。
  3. 站上 2025–26 精讀延伸到多模態、工具路由、圖、記憶寫回、證據發現、金融 hard negatives、set-wise 重排與 read-before-final。每篇處理的問題與評測不同,後續數字不能混入 2020 的表。
  4. 2020 RAG 不是 Production RAG 平台,也不是 Agent 迴圈。 它沒有企業權限、hybrid 堆疊、citation 服務規格,也沒有 search/read/final 的代理迴圈。

REALM 的聯合預訓練方法已有精讀:REALM。ORQA 目前只有 arXiv:1911.03868 原文連結,本站尚未提供完整精讀。Self-RAG 的「何時檢索」問題則已有精讀:Self-RAG

方法關係圖

圖中標示「站上已有精讀」的節點,都可以直接點開對應筆記。REALM 與 Self-RAG 已有完整精讀;ORQA 目前仍只有 arXiv 原文連結。Self-RAG 處理的是模型何時應該檢索。

flowchart TB
  Sparse["稀疏檢索 BM25 / TF-IDF"]
  REALM["站上已有精讀:REALM 2020<br/>昂貴聯合預訓練"]
  Sparse --> DPR["DPR 2020<br/>dense 雙編碼器段落檢索"]
  REALM --> DPR
  DPR --> RAG["Lewis RAG 2020<br/>檢索接上生成"]
  Sparse --> BM25leaf["站上已有精讀:BM25 at scale"]
  RAG --> Anything["站上已有精讀:RAG-Anything"]
  RAG --> RAGMCP["站上已有精讀:RAG-MCP"]
  RAG --> Graph["站上已有精讀:GraphRAG vs RAG"]
  RAG --> ERM["站上已有精讀:RAG without Forgetting"]
  RAG --> DocMemo["站上已有精讀:DocMemo"]
  RAG --> FinRank["站上已有精讀:FinRank"]
  RAG --> Rubric["站上已有精讀:RubricRanker"]
  RAG --> ReadGate["站上已有精讀:推理前就可能失敗"]
  RAG --> SelfRAG["站上已有精讀:Self-RAG<br/>何時檢索"]

怎麼走這張圖

路徑 A · 最快:DPR 再加 Lewis RAG

  1. DPR:先理解 dense 雙編碼器如何取代第一階段的稀疏檢索。
  2. Lewis RAG:再看取回的 zz 如何條件化生成(RAG-Sequence/RAG-Token)。
  3. 先停在這裡;等工作遇到多模態、圖、重排或其他具體問題,再讀對應的延伸研究。

路徑 B · 完整方法路徑:稀疏基線 → REALM → DPR → RAG

先讀 REALM,理解聯合檢索與預訓練的成本;再到 DPR 筆記比較 BM25 稀疏基線,接著讀 DPR 與 Lewis RAG。ORQA 是相關先前工作,本站目前只提供 ORQA arXiv:1911.03868 原文連結。

這條路建立方法底座,不取代 論文精讀總覽的檢索系統路徑。總覽路徑會在 REALM、DPR 與 RAG 之後,繼續加入多模態、工具、圖與 runtime 等延伸研究。

路徑 C · 依工作選下一篇

你的工作卡住的點建議下一篇它延伸的問題
語料變大、hybrid/規模成本BM25 at scale稀疏檢索在大規模下的準確率—成本,不是 2020 ODQA 協議
PDF/圖表/多模態文件RAG-Anything檢索對象從純文字段落變成可回指的多模態節點
工具 schema 太多、要先檢索再呼叫RAG-MCP把「檢索」用在工具描述路由,不是授權
要不要上知識圖譜GraphRAG vs RAG圖索引是不是這類問題的必要升級
成功的 expansion 能不能寫回索引RAG without Forgetting記憶寫回與 correctness gate
證據要動態探索,不是一次 top-kkDocMemo證據發現過程
金融/難負例、證據接地FinRank排序與 hard negatives
Deep research 的 set-wise 重排RubricRanker重排契約
搜尋了卻沒讀證據就回答推理之前就可能失敗read-before-final;不是把 retrieval 品質換成 Read-Gate
模型要不要自己決定何時檢索Self-RAGwhen-to-retrieve;reflection tokens,不是 Read-Gate

節點一覽:控制點、一句話、不要誤讀

節點改動的控制點一句話連結不要誤讀
稀疏 BM25/TF-IDF第一階段要不要靠詞重疊倒排DPR 必須勝過的預設稀疏檢索DPR 筆記內對照對手基線,不是站上的 BM25-at-scale 後續研究
REALM預訓練要不要聯合檢索與異步索引刷新把檢索納入預訓練,但訓練與索引更新成本高;DPR 顯示段落檢索不一定需要同樣的聯合預訓練站上已有精讀方法基礎;不是 production RAG,也不是 Lewis RAG 生成表
ORQA潛變數 dense 檢索+ICT(相關先前)REALM 的直接對照起點之一;本站不做精讀arXiv:1911.03868只連 arXiv;不要期待 2026 格式筆記
DPR第一階段要不要改成 dense 雙編碼器兩個 BERT、點積 MIPS;NQ top-20 78.4 vs 59.1,extractive EM 41.5站上已有精讀檢索表不是 Lewis RAG 的生成表
Lewis RAG生成要不要條件化於取回的 zzBART+DPR 初始化 retriever;NQ RAG-Seq 44.5站上已有精讀2020 方法論文 ≠ Production RAG 平台 ≠ Agent 迴圈
BM25 at scale語料變大後準確率—成本如何變化比較大型企業語料下稀疏檢索的準確率與成本,並檢視更複雜流程是否值得站上已有精讀後續研究;不是 2020 ODQA 協議
RAG-Anything文件節點能不能保留多模態結構表格/圖/公式可回指,不是 caption-only站上已有精讀後續研究;數字不回填 2020
RAG-MCP太多 tool schema 時怎麼挑先檢索候選 schema,再讓執行模型呼叫站上已有精讀後續研究;檢索不是授權
GraphRAG vs RAG要不要為多跳/結構關係上圖系統性比較圖與向量路線的採用邊界站上已有精讀後續研究;不是 Lewis RAG 的替換件
RAG without Forgetting成功 expansion 寫回哪裡correctness gate 後的 index adaptation站上已有精讀後續研究;寫回不是無條件記憶
DocMemo證據要一次取回還是動態發現動態證據探索,不是固定 top-kk站上已有精讀後續研究;不是 xMemory(那是 Agent 記憶)
FinRank金融難負例下證據怎麼排evidence-grounded 排序方法站上已有精讀後續研究;數字不回填 2020
RubricRankerDeep research 如何 set-wise 重排用 rubric 做集合式重排站上已有精讀後續研究;不是第一階段檢索
推理前就可能失敗search 之後、final 之前有沒有 read證據前的程序失敗,不是讀完 gold 仍答錯站上已有精讀後續研究;Read-Gate ≠ retrieval 品質替代品
Self-RAG要不要/何時呼叫檢索自我反思決定 retrieve/critique站上已有精讀when-to-retrieve;不是 Read-Gate,也不是 Production RAG 閘門

本頁刻意不做的事

  • 不取代六個 Paper Essence 問題。 每篇精讀仍要自己回答:論文解決什麼、舊方法差在哪、核心技術想法、一個輸入怎麼走完、標題主張靠哪筆證據、主張在哪裡停住。本頁只定向。
  • 不發明 ORQA 精讀。 ORQA 仍只連 arXiv。REALM 與 Self-RAG 已有 REALMSelf-RAG 站上精讀;本頁只做定向,不重寫六個 Paper Essence 問題。
  • 不重寫論文庫的 retrieval-systems 路徑敘事。 那條路徑從 REALM → DPR → RAG → Self-RAG 出發,再加入多模態、工具、圖與 runtime。本頁只解釋方法基礎,不是第四條閱讀路線。
  • 不把後來數字回填經典,也不混用 DPR 與 Lewis RAG 兩張表。 證據、作者主張、Bloss0m 判斷仍分層寫在各篇精讀裡。
  • 不納入 xMemory 或 AskChem。 xMemory 屬於 Agent 記憶;AskChem 處理 claim-centered synthesis,兩者都不在本圖的 RAG 方法路徑上。

讀法本身若還不熟,可搭配 高效學術論文閱讀:三遍掃描法。若要從產品架構而不是論文家族進入 RAG,改走 Enterprise RAG 完整指南。Agent 家族的姊妹圖見 AI Agent 論文怎麼讀:從 CoT、WebGPT 到 ReAct

使用方式

  • 從論文精讀總覽進來:三條閱讀路徑仍在;若你要知道 DPR/Lewis RAG 如何接到後續研究,可停在本頁再選連結。檢索系統路徑見 #reading-paths
  • 從某一篇經典精讀進來:文內若寫「閱讀地圖」,即指 本頁
  • 要讀英文版:同一篇地圖在 English

參考

歡迎演講、企業內部技術分享與架構交流;可以先查看我適合分享的主題與公開工程成果。

演講與聯絡