REALM 深度精讀

系列 · 1 篇

← 返回論文精讀

  • REALM：預訓練時就把檢索接進 LM，但不能把聯合訓練當成現成的 RAG 堆疊

    中階 理解檢索、記憶與 Production RAG
    REALM 深度精讀: Part 1 , 筆記: 2026年8月27日 , 論文: 2020 , NLP

    精讀 Guu et al. ICML 2020：用 MLM 訊號預訓練可微的知識檢索器，異步刷新 MIPS 索引，並在開放域 QA 上微調。CC-News／Wikipedia 設定下 NQ Exact Match 40.4，勝過 ORQA 與 T5-11B；這是昂貴的檢索增強預訓練祖先，不是 Lewis RAG 生成，也不是 DPR 的便宜雙編碼器配方。

    90 秒掌握這篇論文
    問題
    預訓練 LM 把世界知識壓進參數；要覆蓋更多事實就得把網路做得更大，而且知識難定位、難更新。
    核心洞見
    預訓練時加入可學習的知識檢索器，從 Wikipedia 等語料取回文件 $z$，用遮罩語言模型訊號反傳通過檢索（把 $z$ 當潛變數），並用異步 MIPS 刷新處理「索引會過期」的計算難題。
    最強證據
    ICML Table 1 開放域 QA Exact Match——REALM（$X$=CC-News，$Z$=Wikipedia）NQ 40.4、WQ 40.7、CT 42.9；同參數量級的 ORQA 為 33.3／36.4／30.1；T5-11B（約 11318M）NQ 只有 34.5。Table 2：30× stale MIPS 把 NQ dev Exact Match 打到 28.7。
    主要邊界
    記憶是 2018-12-20 English Wikipedia（約 1,300 萬個 ≤288 wordpiece 塊）；評測是英語 Open-QA／抽取式 span；訓練要 64 TPU 預訓練與週期重建索引；不是 production RAG，不是生成式 RAG，也不是 when-to-retrieve。
    進入完整精讀

歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。

演講與聯絡