Agent 安全與治理

15 篇精讀筆記

← 返回論文精讀

從風險注入、稽核、權限與 rollback，檢視 Agent 在真實執行環境的控制邊界。

讀者問題

任務完成之外，如何證明 Agent 的過程、記憶與副作用仍在可控範圍？

READING LIBRARY

深入讀這個議題

目前收錄在這個研究議題下的所有論文精讀。

  • 派對之後：病毒式 Agent Skill 生態留下的治理與安全掃描難題

    進階
    Agent Skill 生態治理: Part 1 , 筆記: 2026年9月17日 , 論文: 2026 , AI Safety

    深讀 After the Party 的 OpenClaw／ClawHub 生態研究：從 91 天的爆發式成長、下載集中與 reviewability gap，到 privilege evidence、掃描器分歧與可轉移的治理方法。

    90 秒掌握這篇論文
    研究問題
    當一個 agent-skill registry 在幾個月內快速擴張，下載量、stars、版本、留言、宣告的 capability 與實際可執行權限，哪些訊號還能支持治理決策？研究者以 OpenClaw 與 ClawHub 為案例，追蹤成長、關聯可攜性、reviewability 與 scanner agreement。
    核心洞見
    skill 不是只存在於文字內容裡。相同的 SKILL.md 或 package，在不同 host、tool visibility、execution context 與 policy 下，可能暴露完全不同的 privilege surface；registry metadata 也不能把 popularity、reviewability、static evidence 與 runtime behavior 合成一個信任分數。
    最強證據
    RQ1 重建 91.11 天的 stock 由 33,399 增到 65,175；前 10% 取得 46.93% downloads，Gini 為 0.528。RQ3 顯示 85.06% 的可評估 skill 至少有一項 privilege evidence；RQ4 的三個 scanner 只在 446 個項目上同時 flag，且人工 reference set 中 LLM scanner 的 sensitivity 61.06%、static scanner 為 21.67%。
    主要邊界
    這不是所有 registry 的 insecurity prevalence，也不是三個 scanner 的通用 benchmark。資料是單一生態、特定 snapshot、部分歷史資料重建；withdrawn data、缺失欄位與沒有 perfect ground truth，都會改變可解釋範圍。
    進入完整精讀

  • RAGSieve：用自我參照的局部對比，找出 RAG 知識投毒的排名推升

    進階
    RAG 檢索完整性與治理: Part 1 , 筆記: 2026年9月17日 , 論文: 2026 , Information Retrieval

    深讀 RAGSieve：以同一個檢索事件的 retrieval tail 與同一個語料鄰域作為局部對照，在 query-time 與 corpus-time 找出可疑的排名推升；同時釐清投毒偵測不是事實查核。

    90 秒掌握這篇論文
    問題
    RAG 把外部語料放進生成證據。攻擊者只要能透過公開頁面、共享儲存或 connector 讓少量文件進入 index，就可能讓特定錯誤答案在目標 query 的 top-5 被看見。難處是：被攻擊的 corpus 不是可信 reference，而不同主題的自然語意密度也不一樣。
    核心洞見
    不要以為有一份先驗乾淨資料集，也不要用一個跨語料的 global threshold。RSQ 以同一 query 的 top-5 與 ranks 6–20 做 query-local contrast；RSG 以每份文件自己的語意鄰居與 local floor 做 corpus-local contrast。兩者都讓 inspected system 自己提供 matched control。
    最強證據
    RSQ 在九個 dataset–retriever 組合、六種攻擊的 macro AUROC 為 95.2%，在最多移除 5% clean document 的 operating point 偵測 82.2% poison；RSG 對應為 93.3% 與 79.8%。串接 RSG 與 RSQ 後，六種攻擊的 ASR 從 67.4% 降至 14.0%，unpoisoned-retrieval F1 則由 42.1% 變為 41.3%（Table 1、Table 5、Table 9）。
    主要邊界
    這些數字是合成攻擊、三個 QA corpus、三個 dense retriever 與固定評測 protocol 的結果。它們支持「可疑 promotion pattern 可以被局部對照抓到」，不支持「被 flag 的文字一定是假的」、 「檢索到的 claim 已完成 truth verification」，也不支持 production-scale 多租戶延遲或 zero-poison guarantee。
    進入完整精讀

  • ACE：讓簡報畫布 Agent 先理解結構，再用批評回饋修正

    進階
    Agent Canvas 編輯與評測: Part 1 , 筆記: 2026年9月17日 , 論文: 2026 , AI Engineering

    深讀 ACE（arXiv:2608.24103 v1）：以 hierarchical scene graph、CARE 與 instruction-following judge 把多頁簡報編輯拆成可路由、可差分、可回溯的閉迴路，並釐清 benchmark、human rater、mock 與 live reproduction 的邊界。

    90 秒掌握這篇論文
    問題
    PowerPoint／HTML 一類 flat absolute-positioned 文件把物件位置寫成大量座標。Agent 若要在一個 element 新增內容或改 layout，常得重新計算其他物件；而不同但合理的設計可能被 reference-diff 指標誤判為錯。
    核心洞見
    ACE 以 hierarchical scene graph 保存 parent–child 關係、相對變換與 auto-layout，再用 98 個專用工具把意圖映射到結構化操作；CARE 只取與任務相關的 slide、節點或 design token。完成 edit 後，JsonDiff 對比原始與目前狀態，由不看 ground truth 的 instruction-following judge 提供下一輪 critique。
    最強證據
    完整 94-task benchmark 的 GPT IF 是 ACE 4.23、HTML baseline 3.81，paired p=.010；速度約 1.75 倍、成本約低 44%。但同一組的 VQ 是 3.66 對 3.57（p=.56），所以 headline 不是「所有視覺品質都提升」。
    主要邊界
    26 位 blind raters 在 ACE 對 HTML 的 overall decisive win rate 是 58.7%，self-corrected output 對 single-pass 是 81.5%；這些結果有小樣本、tie、低至中度一致性與 judge circularity 限制。它沒有證明 ACE 能改善所有 creative editing，也沒有證明 judge 能取代設計師。
    進入完整精讀

  • Tool Call 成功，Workflow 仍失敗：Agent–Tool Boundary 的外部效應異常

    進階
    Agent 工具邊界與效應可靠性: Part 1 , 筆記: 2026年9月16日 , 論文: 2026 , AI Systems

    深讀 Agent–Tool Boundary 的 effect-history 模型：為什麼單次 tool call 回傳成功，仍不足以保證長流程的外部世界狀態一致，以及 MCP annotation 與交易式工具契約究竟填補了哪些空白。

    90 秒掌握這篇論文
    問題
    一個 agent workflow 可能先建立訂位、再扣款、再寄送確認信。每一個 tool 都可能回傳成功、失敗或 timeout，但 workflow 真正關心的是外部世界發生了哪些不可逆 effect，以及這些 effect 是否仍然存活。若 runtime 只看最後一個 response，retry、speculation、併發與 crash 都會讓「call 成功」和「事情完成」脫鉤。
    核心洞見
    把 external effect history 與 runtime observation 分成兩層。一次 attempt 可能得到 unknown，而 externalize 可能已經發生；反過來，runtime 也可能看見成功，但之後的 commit、abort 或 compensation 沒有形成預期的世界狀態。workflow safety 要談的是 effect history，而不是單次 API response。
    最強證據
    Section 3 的 Table 2 將八種 anomaly 對到所需 boundary capabilities；Section 5 對 2026-07-27 MCP registry snapshot 做 98,291-tool census。74.0% 的 tool 至少有一個標準 annotation，61.7% 同時有四個，但 Table 4 顯示這些 hints 對 A2–A8 都沒有提供足夠的 transactional guarantee。
    主要邊界
    這是 effect-history vocabulary、coverage conjecture 與 runtime-contract 分析，不是八種 anomaly 已在所有 production agent 中測出的 prevalence study。對 ACRFence、RAC、Atomix、Cordon、CoAgent 與 Shepherd 的 coverage 是作者整理的 partial/stated comparison，不等於形式證明。
    進入完整精讀

  • Corrupt Plans, Clean Traces：Plan Injection 為何能繞過 Chain-of-Thought Monitoring

    進階
    CoT Monitoring 與 Plan Injection: Part 1 , 筆記: 2026年9月16日 , 論文: 2026 , AI Safety

    深讀 Plan Injection：當 adversarial plan 被種進 context、actor 再把它改寫成看似自然的 Chain-of-Thought 時，monitor 看到的 clean trace 為何可能與真正的行為因果脫鉤，以及 APPS、BioMath 與 budget sweep 的證據邊界。

    90 秒掌握這篇論文
    問題
    CoT monitor 通常讀 actor 的 reasoning，判斷它是否在執行 harmful plan。若 harmful plan 先被放進 actor 的 context，actor 可能吸收它、改寫成一段看似自然的 reasoning，最後輸出有問題的 code 或答案；monitor 只看到後來的 trace，就可能看不到真正改變行為的來源。
    核心洞見
    plan injection 把「行為的因果來源」與「monitor 可見的文字 trace」拆開。攻擊者不必要求 actor 原文照抄，也不必讓 CoT 出現明顯 malicious intent；只要 injected plan 能 steer actor，而 actor 產生的 reasoning 不明確歸因於該 plan，monitor 的觀測面就可能失真。
    最強證據
    Figure 3 在 APPS 與 Bio-Math 顯示 injected plan 被採用的比例；Figures 4–5 將 actor-only 與 with-plan 的 monitor detection 並列；Table 8 的 end-to-end undetected attack success 在 APPS 為 33%–68%、Bio-Math 為 74%–82%；Figure 6 在 Qwen3-235B monitor 上顯示增加 budget 對 suspicion 不是單調改善。
    主要邊界
    這不是「所有 reasoning model 都能被同樣攻擊」的估計，也不是 CoT 本身必然不可信的形式證明。作者只測 Qwen3-8B、DeepSeek-R1-0528 兩個 actor、APPS/BioMath 兩種 scaling task，且只對一個 monitor 做 budget sweep；沒有 code、checkpoint 或完整可重跑的資料包。
    進入完整精讀

  • K-Bench：Agent 部署中的 LLM 遺忘，不能只看最後答案

    進階
    Agent 安全與遺忘評測: Part 1 , 筆記: 2026年9月15日 , 論文: 2026 , AI Security

    精讀 Yu 等人的 K-Bench（arXiv:2609.12808 v1）：把 unlearning 從單一回答的證書改成跨六個可觀測通道、四種記憶 substrate 的 Agent 執行面測試，並用 OR-of-channels、collapse-aware K-Score 與預註冊統計拆開真正忘記、通道遷移與 Agent 崩潰。

    90 秒掌握這篇論文
    問題
    TOFU、MUSE 一類 unlearning benchmark 主要把 model 當成問答介面，讀一個 direct answer。這對只存在 weights、且只從該回答表面洩漏的測試有用，卻沒有覆蓋部署後的 context、RAG、database lookup、CoT scratchpad、tool call、tool return 或後續 summary。
    核心洞見
    把「秘密放在哪裡」與「Agent 從哪裡取到它」分開控制。K-Bench 每個 cell 只把同一類 PII 放進一個 substrate，再把同一個 Agent trace 暴露成六個 channel；每一 query 對六個 channel 做 logical OR。
    最強證據
    在 Llama-3.1-8B 的 no-intervention baseline，非參數 substrate 的 aggregate leakage 是 C = 0.223、R-text = 0.602、R-struct = 0.855；TOFU/MUSE 的 weight probes 在這些 substrate 看到的卻是沒有 target memorization。這是 coverage gap，不是 weight unlearning 不夠強。
    主要邊界
    K-Bench 的結果只覆蓋它能觀測的六個文字 channel、四個純 substrate、英文 PII、固定 ReAct harness 與特定模型／注入方式。它不是「所有副本都刪除」的證明，也不是 production memory、log、external database 或 multi-agent message bus 的完整 deletion audit。
    進入完整精讀

  • DRACO：用 dynamic rubrics 把長程 Agent 的總分分回每一步

    進階 Agent Runtime、安全與評測
    Agent 訓練與獎勵: Part 1 , 筆記: 2026年9月9日 , 論文: 2026 , AI Engineering

    精讀 DRACO（arXiv:2609.04094）：在沒有 ground-truth verifier 的長程工具任務中，動態產生每條 rollout 的 rubric，再把 trajectory-level advantage 依 judge 指出的步驟重新分配給 GRPO。

    90 秒掌握這篇論文
    問題
    沒有 verifier 時，如何取得可用的 reward；取得後，又如何避免把整條長 trajectory 當成不可分割的單一動作？
    核心洞見
    為每個 task 與 sampled group 動態生成、合併、去重並篩選 rubric；judge 不只回傳 pass/fail，也要指出哪些 steps 支持這個 verdict，讓一個 trajectory-level advantage 可以 closed-form 地分回 steps。
    最強證據
    Qwen3.6-27B 的 AppWorld test-normal TGC/SGC 從 base 的 69.4/41.1 到 DRACO 的 85.3/70.6；在相同 base 與 budget 的 outcome-reward reference 上，DRACO 高 5.3/11.3 個百分點（Table 2、Section 4.2）。零樣本 tau-bench Banking SR 也由 15.8 到 20.4。
    主要邊界
    這些是 benchmark 與 end-task evidence，不是 judge 正確性或 attribution 正確性的直接證明。作者明確承認沒有 human-rater calibration；同一個 judge 可能一致地錯，錯誤的 citation 也可能仍偶然帶來更好的 policy。
    進入完整精讀

  • Indirect Prompt Injection：把網頁和工具回傳當指令通道，但不能把 2023 案例當成後來 Guard 產品的契約

    中階 Agent Runtime、安全與評測
    Indirect Prompt Injection 深度精讀: Part 1 , 筆記: 2026年8月28日 , 論文: 2023 , AI Security

    精讀 Greshake et al. arXiv:2302.12173 v2：當 LLM 整合應用檢索網頁、郵件或工具輸出時，未受信資料進入 prompt 就等同進入指令通道；作者以 Bing Chat、GitHub Copilot 與 GPT-4 合成 app 示範 indirect prompt injection，並給出資安視角的威脅分類。這是 2023 控制面證據，不是 Llama-Guard、Constitutional AI、OWASP Top-10 或越獄 benchmark 的產品 SLA。

    90 秒掌握這篇論文
    問題
    LLM 整合應用會檢索網頁、讀郵件、呼叫 API；過去 prompt injection 多假設 使用者自己 在 chat 框輸入 adversarial prompt（direct PI／jailbreak）。若攻擊面改成 會被取回的資料，威脅模型就不同（Section 1、3）。
    核心洞見
    Indirect Prompt Injection（IPI）——把指令藏進搜尋結果、HTML 註解、程式庫註解或郵件內文等可能被檢索的來源。應用把這些字串拼進 prompt 時，模型未必能可靠區分資料與指令；作者因此把處理這類 retrieved prompt 類比為執行不受信程式（Section 2、Key Message #1）。
    最強證據
    Figure 2 的 injection method × threat × affected party 分類；Figure 3 的「plant → retrieve → compromise → API exfil」流程；Section 4 在 Bing Chat（GPT-4）、GitHub Copilot 與 GPT-4／text-davinci-003 合成 app 上的案例示範（information gathering、phishing、AI worm email、remote control、wrong summary 等）。作者 未 給出可比的 attack-success 率表。
    主要邊界
    這是 2023 年 2–5 月的 preprint／v2，Bing UI 與 filter 此後已多次改版。合成 app 使用 mock 介面與 temperature=0；作者也刻意未對公開索引頁進行實地污染（Section 5.1）。它不是 formal verifier 或完整 permission model，也不能代表 Llama-Guard F1 或 OWASP LLM Top-10 的產品防護能力。
    進入完整精讀

  • Agentic Configuration Management：把 Agent 系統當成可治理的組態，而不只是一次執行

    進階 Agent Runtime、安全與評測
    Agent 安全: Part 2 , 筆記: 2026年8月12日 , 論文: 2026 , AI Agent

    深讀 ACM 如何用跨框架的 Configuration Graph、immutable revisions、dependency-aware impact propagation 與 runtime provenance，治理 LangGraph、CrewAI 與 OpenAI Agents SDK 的異質 Agent 組態。

    90 秒掌握這篇論文
    問題
    一個 agent system 的行為不只由程式碼決定，還取決於 prompt、model、tool、skill、workflow、policy、framework 與 runtime state；現有 framework 和 AgentOps 工具各自管理一部分，卻很難把「哪個完整組態產生了這次執行」固定下來。
    核心洞見
    ACM 把這些異質 artifact 正規化成 typed、independently versioned 的 Agentic Configuration Items（ACI），由四張互連的 Configuration、Evolution、Assurance、Runtime Graph 管理；執行 framework 只負責投影，治理 kernel 在共同表示上工作。
    最強證據
    27 個 controlled governance scenarios 跨 LangGraph、CrewAI 與 OpenAI Agents SDK，另有 9 個 quantitative impact cases；三個 framework 在受控範圍得到相同 governance outcomes，重複執行的 impact set 與 metrics 也一致（Section 7.2–7.6、Tables 8、10、12）。
    主要邊界
    這是 reference model 與 prototype 的 conformance／feasibility evidence；distributed execution、learning、long-term memory、MCP/A2A native protocol 與 large-scale industrial validation 都在目前範圍外（Table 13、Table 14、Sections 8.4、9）。
    進入完整精讀

  • ADIAS：把 Agent 自我改良改寫成可追蹤的問題修復

    進階 Agent Runtime、安全與評測
    筆記: 2026年8月12日 , 論文: 2026 , AI Engineering

    深讀 ADIAS：以持續的 issue state 組織跨回合失敗證據，讓 full-code agent optimization 能記住修過什麼、哪些介入失效，以及何時真的修好。

    90 秒掌握這篇論文
    問題
    自動化 agent design 通常以 candidate 為中心保存歷史。每一回合都重新閱讀候選程式、分數與 trajectory，卻沒有明確記住「同一個失敗是否已經修過、哪個介入有效、哪個改動造成 regression」。
    核心直覺
    把被修復的 issue，而不是 candidate agent，變成跨回合的控制狀態。每個 issue 擁有穩定身份、priority、supporting evidence、lifecycle status 與 intervention-outcome history。
    最強證據
    論文在 Tau-Bench、ALFWorld、TextCraft、WebShop、ScienceWorld 五個互動式環境比較 ADIAS 與五種 baseline；Table 1 的平均分數為 78.4，最強 baseline DGM-H 為 62.6。這些方法共用 task split、wrapper、action interface、scoring script、十回合 optimization budget 與每回合 15 個 training episodes（論文 Section 4、Table 1）。
    主要邊界
    論文把 trajectory diagnosis 與 issue association 固定下來，沒有獨立測量診斷正確率；評估也限於文字型互動 benchmark。GitHub repository 的 README 仍是 Coming Soon，因此本文不把「paper 說有 code」等同於「讀者現在可重現」。
    進入完整精讀

  • A²E：把 Agent 評測變成可追蹤、可重評的稽核引擎

    中階 Agent Runtime、安全與評測
    Agent Auditing: Part 1 , 筆記: 2026年8月11日 , 論文: 2026 , AI Engineering

    精讀 A²E：以 ATP 統一 benchmark 與 agent harness，用 span-based trace 保存執行因果，再以 lifecycle-aligned metrics 分析正確性、工具行為、成本與安全。

    90 秒掌握這篇論文
    問題
    Agent 最後答對，不代表它走了可靠、便宜或安全的路徑；最後答錯，也不代表你知道問題出在 planning、tool use、memory、judge 或 runtime。若每個 harness 自己存一份文字 log，就很難跨 framework 比較，也很難在新 metric 出現時重評既有 trajectory。
    核心想法
    A²E 將 Task、Monitor、Evaluation 分成三層。Agent Task Protocol（ATP）把 benchmark 的 task 與 harness 的執行介面分開；Monitor 將 model calls、tool calls、state 與錯誤組成有 parent-child 關係的 trace；Evaluation 用 lifecycle-aligned taxonomy 把 process、outcome 與 runtime 指標放在一起。
    最重要證據
    實驗涵蓋 23 個 benchmark、9 個 harness、每個 cell 5 個 task，共 1,035 次 scored runs；同一個 DeepSeek-V4-pro FP4 backbone、inference config、tool setup、step limit 與 timeout 被固定。Section 6.2/6.3 報告 harness 間的 success-rate gap 可達 GDPVal 0.20、MMLU-Pro 0.30、tau³-bench 0.66。
    主要邊界
    這是平台架構與診斷框架的 demonstration，不是對九個 harness 的普遍排名。Table 2 的 prose 與顯示的 tasksucceeded/correctness 數值互相矛盾；paper commit、judge calibration、API 變動與 component-level ablation 也不足以支持強因果結論。
    進入完整精讀

  • Argus 論文精讀：長期 Agent 需要的是 Runtime，不是更長的 Prompt

    進階 Agent Runtime、安全與評測
    Multi-Agent Coordination: Part 1 , 筆記: 2026年8月7日 , 論文: 2026 , AI Agent

    拆解 Argus 的 Manager–Planner–Engineer–Reviewer runtime、持久狀態、驗證式演化與 rollback，並區分 benchmark 結果、作者自營案例與尚未證明的自我學習主張。

    90 秒掌握這篇論文
    問題
    長時程 agent 失敗時，單一長 prompt 沒有清楚的任務 authority、可稽核狀態、驗證關卡或可回復邊界。
    核心想法
    Argus 以 Manager、Planner、Engineer、Reviewer 在 durable project state 上循環；只有經 role-owned review 的 memory、skill、routing 與 procedure 才能成為下一輪狀態。
    最強證據
    報告在七個 task-native arena 中展示廣度，並在 SWE-Bench Pro 報告 GPT-5.5 條件下 Argus 78% 對 Direct Copilot 59%、約 1.41 倍 aggregate tokens（Figure 1、Section 5）。
    邊界
    這是 arXiv v1 technical report；實作、prompt、trace、checkpoint 與完整 benchmark package 尚未公開，不能把結果當成可重現的 runtime 採用證明。
    進入完整精讀

  • AgentS4D 論文精讀：任務完成了，Runtime 真的安全嗎？

    進階 Agent Runtime、安全與評測
    Agent 安全: Part 1 , 筆記: 2026年8月7日 , 論文: 2026 , AI Agent

    拆解 AgentS4D 如何把 workspace agent 的風險入口、誘導策略、目標傷害與生命週期證據放進同一個 sandbox benchmark，並檢查完成率為什麼不能代表安全。

    90 秒掌握這篇論文
    問題
    workspace agent 即使完成任務，仍可能因 prompt、skill、file、web content、memory 或 user message 的風險載體產生不安全副作用。
    核心想法
    AgentS4D 將評估單位設為完整的 harness–LLM–task 環境，依風險來源、induction strategy、harm 與 execution lifecycle 檢查 completion 與 safety。
    最強證據
    328 個注入風險案例在 20 組 harness/backend configuration 中得到 6,560 runs；4,461 runs (68.0%) 觸發預先定義的 unsafe signal，4,344 runs（66.22%）同時 unsafe 且 complete（Section 4、Table 2）。
    邊界
    案例、資產與效果是 synthetic/controlled，且 v1 沒有 executable code 或 data；這些比例不是 production incident rate，也不是任一 harness 的通用安全排序。
    進入完整精讀

  • Real-Time Detection and Repair of LLM Agent Failures：Agent 失敗的即時偵測與修復

    進階 Agent Runtime、安全與評測
    Agent 評測: Part 3 , 筆記: 2026年8月7日 , 論文: 2026 , AI Agent

    精讀 AgentTrajectorySentinel 如何用健康軌跡訓練的低成本時間監控器、決定性驗證與 rollback-and-retry，在不逐步呼叫 LLM judge 的情況下提早攔截失敗；同時拆開它的校準依賴、內容盲點、修復實驗與可重現性邊界。

    90 秒掌握這篇論文
    問題
    agent failure 往往在最後答案以前發生；每步用 LLM judge 又可能太慢、太貴。
    核心想法
    以 healthy trajectory 訓練 temporal monitor，配合 deterministic verification；異常時 rollback 到可信 checkpoint 並定向 retry。
    最強證據
    作者在 2,823 committed episodes、三個框架與多種模型上比較 monitor、verifier 與 repair policy，修復研究報告 success 由 52% 到 73%（Section 5、Table 4）。
    邊界
    healthy-only calibration、短軌跡、injected failures 與文字型 hallucination 的偵測弱點，限制新 production stack 的轉移。
    進入完整精讀

  • OSReward 論文精讀：為什麼 Agent 的成功不能只交給另一個模型判斷？

    進階 Agent Runtime、安全與評測
    Agent 評測: Part 1 , 筆記: 2026年8月2日 , 論文: 2026 , AI Agent

    完整拆解 OSReward 的資料建構、27 個 VLM judges、Hard／Multi 子集、錯誤與成本分析、OS-Shepherd-100K 訓練，並延伸成可部署的混合驗證架構。

    90 秒掌握這篇論文
    核心洞見
    先用人工 gold benchmark 拆出 false-success 偏誤，再把可驗證狀態、model judge 與人工仲裁放進不同證據層。
    最強證據
    Table 1 與 Figure 5--7 顯示完整集接近 90% 的 judge 到 Hard set 只剩約 70%，錯誤集中在 failure recall 與跨平台失敗類型。
    主要邊界
    OS-Shepherd 改善成本與部分準確率，但資料標籤仍來自 strong-judge agreement，完整 artifact 與 production verifier 都未齊備。
    Accuracy
    整體 verdict 正確率。
    進入完整精讀

歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。

演講與聯絡