金融檢索評測

系列 · 1 篇

← 返回論文精讀

  • FinRank：金融文件 RAG 的 hard-negative 檢索評測

    中階 理解檢索、記憶與 Production RAG
    金融檢索評測 · Part 1 · 筆記 · 2026年8月11日 · 論文 · 2026 · NLP

    精讀 FinRank：用公司、年度與披露邊界構造金融文件檢索測試，說明為什麼 pooled corpus、hard negatives 與 metadata filter 會改變企業 RAG 的結論。

    90 秒掌握這篇論文
    問題
    金融文件問答的錯誤不只來自「找不到相似文字」。同一個詞可能出現在不同公司、不同申報年度、不同 Note，metadata filter 也可能把真正的 supporting passage 一起裁掉。FinRank 要測的是：檢索器能否在這些近似但不正確的段落中保住正確證據。
    核心想法
    建立 1,185 筆人工撰寫的金融 QA、5,230 段 pooled corpus 與 6,021 個 curated hard negatives，再用多種資料切分測試跨年份、跨公司與查詢改寫的泛化。
    最重要證據
    在 pooled corpus 的 Recall@10 表中，e5-mistral-7b-instruct 為 44.8、BM25 為 32.1；metadata-filtered BM25 為 55.0，但 Section 7.1 說明 filter 可能因 first-occurrence metadata 把 gold passage 排除。Section 7.3 的 hard-negative 對比又讓 pairwise accuracy 比 random negatives 低 13.0–20.5 個百分點。
    主要邊界
    論文沒有測 answer generation、citation correctness 或 faithfulness；資料主要來自 2024–2025 的美國 10-K/10-Q，且標註與資料分布仍有版本不一致。因此它是 retrieval evaluation 的好起點，不是金融 RAG 上線安全證明。
    進入完整精讀

歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。

演講與聯絡