Agent 安全與治理
33 篇精讀筆記
從風險注入、稽核、權限與 rollback,檢視 Agent 在真實執行環境的控制邊界。
讀者問題
任務完成之外,如何證明 Agent 的過程、記憶與副作用仍在可控範圍?
READING LIBRARY
深入讀這個議題
目前收錄在這個研究議題下的所有論文精讀。
-
StepGuard 論文精讀:逐步檢查 Agent 工具行動
中階 Agent Runtime、安全與評測拆解 StepGuard 如何用前綴對齊的合成軌跡訓練 4B runtime guard,並以 Balance-GRPO 調整安全與任務效用。細讀 AgentDojo、AgentDyn 的 77.3% 相對 ASR 降幅、2.8 個百分點效用代價,以及合成監督、錯誤類型、延遲和非形式保證等部署邊界。
90 秒掌握這篇論文
-
PACT: Can Enterprise AI Assistants Be Trusted Under Pressure? 精讀:企業助理的規則遵循
進階 Agent Runtime、安全與評測PACT 將企業 AI 助理置於期限、主管授權與多輪推促等日常壓力下,評估它是否遵守規則、是否誤用規則,以及違規後能否誠實說明;本文拆解其六軸指標與證據邊界。
90 秒掌握這篇論文
-
An Empirical Study of Harness Design for Coding Agents 精讀:規劃、工具與上下文管理
進階 Agent Runtime、安全與評測同一個程式碼 Agent 換上規劃提示、工具介面或上下文策略,何時會做得更好、何時只增加成本?以四個模型、兩個基準與 176 組配對設定讀懂 Harness 元件的條件式效果。
90 秒掌握這篇論文
-
Refuse, Decompose, Refresh 精讀:閉環 AI 評估的主張邊界
進階 Agent Runtime、安全與評測讀懂閉環評估如何拒絕缺乏觀測支持的比較、分開報告不同判定,並把分布漂移視為參考圖失效訊號。本文拆解模擬器中的門檻、分母、留出結果與部署界線。
90 秒掌握這篇論文
-
Finding the Right Fit 精讀:模型、Harness 與任務如何改變 Agent 排名
進階 Agent Runtime、安全與評測比較 66 組模型與 Harness 在三個任務集上的分數、成本與失敗回饋。讀懂排名反轉,也看清一次執行、未配平設定與軌跡案例能支持到哪裡。
90 秒掌握這篇論文
-
MAGS 論文精讀:形式化驗證與安全規格邊界
進階 Agent Runtime、安全與評測精讀 MAGS 如何把程式代理生成的輸出轉入 Dafny、對凍結規格證明並編譯回可執行程式;拆解 220 個形式證明、獨立安全檢查與功能保留結果之間的落差。
90 秒掌握這篇論文
-
Closed-World Resolution 精讀:工具幻覺必須先於權限閘
中階 Agent Runtime、安全與評測精讀 Closed-World Resolution Against Tool Hallucination in LLM Agents,拆解工具不存在、參數不合 schema 與 MCP 多伺服器碰撞為何可能繞過一般權限閘,以及論文測量結果的適用邊界。
90 秒掌握這篇論文
-
Loopjacking 論文精讀:人類核准如何失去操作綁定
進階 Agent Runtime、安全與評測精讀 Loopjacking 如何區分核准畫面不完整與核准後狀態替換,並以版本固定的產品路徑、sink-level 證據及負向控制檢驗人工核准是否仍約束最終副作用。
90 秒掌握這篇論文
-
Agents Are Systems, Not Models 精讀:Agent 評測不能只看模型分數
進階 Agent Runtime、安全與評測這篇 AI4Science 研究拆解任務資訊、推理、驗證、時間預算與 backbone 如何共同影響 Agent。主實驗中,同一設定重跑噪音約占有效嘗試分數變異的 54%;但結論只來自四個科學任務,不能直接外推成所有 Agent 的定律。
90 秒掌握這篇論文
-
When Upstream Messages Override Correct Answers:上游錯誤如何改寫下游判斷
中階 Agent Runtime、安全與評測以五個 benchmark、五種接收模型的受控訊息交接實驗,理解錯誤上游答案如何讓原本能答對的下游模型改採同一個錯誤,以及這項發現尚未證明什麼。
90 秒掌握這篇論文
-
Raven 精讀:Harness of Harnesses 如何規劃多 Agent 協作
進階 Agent Runtime、安全與評測Raven 把可執行的模型與 harness 配成專才,再由 Host Agent 規劃合作 DAG。本文拆解 harness composition、MAOB 評測與 +10.4/+10.5 個百分點的真正分母:它衡量規劃圖匹配,不是 worker 執行成功率。
90 秒掌握這篇論文
-
SpecHarness 論文精讀:以規格與證據判定 Agent 任務完成
中階 Agent Runtime、安全與評測精讀 SpecHarness 如何把 agent 可見的指示編成來源可追溯的義務,並以合格證據提交狀態;同時檢視 SkillsBench 與 GuideBench 結果、執行成本與完整 runtime 歸因限制。
90 秒掌握這篇論文
-
APort Vault 論文精讀:AI Agent 付款授權評測
進階 Agent Runtime、安全與評測深讀 APort Vault:把付款請求、付款成功、政策判斷、收款人白名單與未授權轉帳拆開,檢視模型外的 pre-action authorization 在限定 replay 中做到了什麼,以及哪些工程與證據邊界仍在。
90 秒掌握這篇論文
-
MobileCybench 論文精讀:用可執行探針評測漏洞發現能力
進階 Agent Runtime、安全與評測深讀 MobileCybench:以 13 款 Android app、495 個安全性 probes 評估五種 coding agents,拆清 probe 觸發、漏洞歸因、維護者確認與外推邊界。
90 秒掌握這篇論文
-
Prime Agent: A Self-Improving RLM Harness 精讀:長期任務與外部狀態管理
進階 Agent Runtime、安全與評測精讀 Prime Agent(arXiv 2608.23552 v1):拆解 L0–L3 狀態層級、持續 REPL、遞迴 subagents 與 Continual Harness,並檢視作者自報評測、持續性帶來的規格鑽漏洞風險,以及未沙箱化執行的部署邊界。
90 秒掌握這篇論文
-
Self Improvement via Fast Tree-search 精讀:SIFT Agent 自我改進
進階 Agent Runtime、安全與評測Self Improvement via Fast Tree-search 如何用成對 judge、Bradley–Terry 排名與非同步搜尋篩選 Agent patch,再把昂貴評測留給較有希望的候選。
90 秒掌握這篇論文
-
Learning When to Trust 論文精讀:LLM 如何選擇性信任上下文
進階 理解檢索、記憶與 Production RAGSCOPE 如何用配對情境與偏好訓練,降低模型被誤導 context 翻轉正確答案的機率;並保留純文字測試、資料污染與實際發生率的限制。
90 秒掌握這篇論文
-
Bounded Agents 論文精讀:多 Agent 系統的委派與授權安全
進階 Agent Runtime、安全與評測Bounded Agents 如何用 principal chain、合取式授權條件與 composition closure,限制多 Agent 委派及跨步驟副作用;並檢查模型外強制與效用成本。
90 秒掌握這篇論文
-
After the Party 論文精讀:Agent Skill 生態的治理與安全掃描
進階 Agent Runtime、安全與評測深讀 After the Party 的 OpenClaw/ClawHub 生態研究:從 91 天的爆發式成長、下載集中與 reviewability gap,到 privilege evidence、掃描器分歧與可轉移的治理方法。
90 秒掌握這篇論文
-
RAGSieve 論文精讀:用局部對比偵測 RAG 知識投毒
進階 理解檢索、記憶與 Production RAG深讀 RAGSieve:以同一個檢索事件的 retrieval tail 與同一個語料鄰域作為局部對照,在 query-time 與 corpus-time 找出可疑的排名推升;同時釐清投毒偵測不是事實查核。
90 秒掌握這篇論文
-
ACE 論文精讀:簡報編輯 Agent 的結構理解與自我修正
進階 Agent Runtime、安全與評測ACE 如何以階層式 scene graph、CARE 與指令遵循 judge 建立可路由、可差分、可回溯的簡報編輯閉迴路;並釐清評測與重現邊界。
90 秒掌握這篇論文
-
Agent 工具呼叫成功卻工作流程失敗:外部效應異常論文精讀
進階 Agent Runtime、安全與評測深讀 Agent–Tool Boundary 的 effect-history 模型:為什麼單次 tool call 回傳成功,仍不足以保證長流程的外部世界狀態一致,以及 MCP annotation 與交易式工具契約究竟填補了哪些空白。
90 秒掌握這篇論文
-
Corrupt Plans, Clean Traces 論文精讀:計畫注入與思維鏈監控
進階 Agent Runtime、安全與評測Plan Injection 如何讓惡意計畫在 context 中影響行為,卻留下看似自然的推理軌跡;並說明這對 Chain-of-Thought 監控與因果判讀的限制。
90 秒掌握這篇論文
-
K-Bench 論文精讀:Agent 部署情境的 LLM 遺忘評測
進階 Agent Runtime、安全與評測K-Bench 如何跨多個可觀測通道與記憶介質測試 Agent unlearning,並區分真正遺忘、資訊轉移到其他通道,以及 Agent 本身崩潰。
90 秒掌握這篇論文
-
DRACO 論文精讀:用動態評分規準分配 Agent 訓練回饋
進階 Agent Runtime、安全與評測精讀 DRACO(arXiv:2609.04094):在沒有 ground-truth verifier 的長程工具任務中,動態產生每條 rollout 的 rubric,再把 trajectory-level advantage 依 judge 指出的步驟重新分配給 GRPO。
90 秒掌握這篇論文
-
間接提示注入論文精讀:LLM 應用的外部內容攻擊
中階 Agent Runtime、安全與評測間接提示注入如何藉由網頁、郵件或工具輸出,把未受信資料送進模型的指令通道;本文整理攻擊面、實證案例與應用控制邊界。
90 秒掌握這篇論文
-
ADIAS 論文精讀:以問題修復驅動 Agent 自我改進
進階 Agent Runtime、安全與評測深讀 ADIAS:以持續的 issue state 組織跨回合失敗證據,讓 full-code agent optimization 能記住修過什麼、哪些介入失效,以及何時真的修好。
90 秒掌握這篇論文
-
ACM 論文精讀:Agent 系統的組態管理與治理模型
進階 Agent Runtime、安全與評測Agentic Configuration Management 如何用跨框架組態圖、不可變版本、相依影響傳播與 runtime provenance,治理異質 Agent 設定。
90 秒掌握這篇論文
-
An End-to-End Agent Auditing Engine 精讀:A²E 評測與稽核
中階 Agent Runtime、安全與評測精讀 A²E:以 ATP 統一 benchmark 與 agent harness,用 span-based trace 保存執行因果,再以 lifecycle-aligned metrics 分析正確性、工具行為、成本與安全。
90 秒掌握這篇論文
-
Argus 論文精讀:長期推理 Agent 的執行環境
進階 Agent Runtime、安全與評測拆解 Argus 的 Manager–Planner–Engineer–Reviewer runtime、持久狀態、驗證式演化與 rollback,並區分 benchmark 結果、作者自營案例與尚未證明的自我學習主張。
90 秒掌握這篇論文
-
AgentS4D 論文精讀:LLM Agent 執行生命週期的安全風險
進階 Agent Runtime、安全與評測拆解 AgentS4D 如何把 workspace agent 的風險入口、誘導策略、目標傷害與生命週期證據放進同一個 sandbox benchmark,並檢查完成率為什麼不能代表安全。
90 秒掌握這篇論文
-
AgentTrajectorySentinel 論文精讀:LLM Agent 失敗的即時偵測與修復
進階 Agent Runtime、安全與評測精讀 AgentTrajectorySentinel 如何用健康軌跡訓練的低成本時間監控器、決定性驗證與 rollback-and-retry,在不逐步呼叫 LLM judge 的情況下提早攔截失敗;同時拆開它的校準依賴、內容盲點、修復實驗與可重現性邊界。
90 秒掌握這篇論文
-
OSReward 論文精讀:電腦操作 Agent 的獎勵模型評估
進階 Agent Runtime、安全與評測完整拆解 OSReward 的資料建構、27 個 VLM judges、Hard/Multi 子集、錯誤與成本分析、OS-Shepherd-100K 訓練,並延伸成可部署的混合驗證架構。
90 秒掌握這篇論文
歡迎演講、企業內部技術分享與架構交流;可以先查看我適合分享的主題與公開工程成果。
演講與聯絡