工具使用與 Coding Agents
43 篇精讀筆記
研究工具發現、schema context、程式任務與可驗證執行如何共同影響 Agent 表現。
讀者問題
當 Agent 要選工具、改程式並執行時，如何降低 context 與操作錯誤？
READING LIBRARY
深入讀這個議題
目前收錄在這個研究議題下的所有論文精讀。
-
TruthInsightBench 精讀：如何評估 AI 是否真的在做科學發現
進階 Agent Runtime、安全與評測TruthInsightBench 把評估焦點從重現預設答案，移到 Agent 自行提出的主張是否有可追查、穩健、受控制且可被推翻的證據。本文拆解盲測任務、29 項評分與四種 coding-agent scaffold 的結果，也檢視單一 frozen model、單次執行和 LLM judge 校準的邊界。
90 秒掌握這篇論文
-
MLOps-Bench 精讀：Agent 能否完成生產級 ML 維運
中階 Agent Runtime、安全與評測MLOps-Bench 把 coding agent 放進 31 個真實開源 ML 專案，測試它能否跨資料、訓練、服務、監控與治理完成可執行變更。本文拆解任務如何由 repo 證據生成、六種 Agent 的 187 項評測結果，以及 31.2% 任務完成率與 68.7% 測試通過率之間的關鍵落差。
90 秒掌握這篇論文
-
WetRobo 精讀：Coding Agent 如何適應生物實驗室機器人
進階 Agent Runtime、安全與評測WetRobo 把可搬移的機器人套件、操作規則與可檢視程式交給 Coding Agent，讓它在兩個實驗室分別改寫控制流程。本文解讀三項窄任務、跨實驗室瓶蓋比較，以及這種結果尚不能證明什麼。
90 秒掌握這篇論文
-
Ask the Tool, Don't Guess 精讀：工具進度如何改變 KV Cache 調度
進階 Agent Runtime、安全與評測工具執行時間取決於即時負載，呼叫名稱和歷史紀錄難以預測。本文解析 Ask the Tool, Don't Guess 如何從工具輸出與執行環境讀取進度，將它轉成 KV cache 保留、卸載與回載訊號，並檢視作者在 4 張 H100 上報告的 TTFT 改善及其適用邊界。
90 秒掌握這篇論文
-
Agent Planning Benchmark 精讀：拆解 Agent 規劃與失敗診斷
進階 Agent Runtime、安全與評測從 4,209 個案例與五種規劃設定，理解 APB 如何把 Agent 的長程規劃、工具干擾、故障恢復與拒答拆成可診斷的證據；並檢視其受建構任務、LLM 評審與受控執行驗證限制的範圍。
90 秒掌握這篇論文
-
SoL-Pi 精讀：自動研究如何改良 Agent Harness
進階 Agent Runtime、安全與評測SoL-Pi 將 Harness 改良寫成一組帶有凍結指標、能力門檻與獨立驗證的自動研究迴圈，並在固定模型外組合四種減少重複工作的機制。本文拆解搜尋隔離、EdgeBench 證據、作者估算的 token 成本，以及跨模型與部署邊界。
90 秒掌握這篇論文
-
ScienceIDE 精讀：讓科學程式成為可驗證的 Agent 環境
進階 Agent Runtime、安全與評測從 64 個科學環境、2,812 個任務與一組 85 題硬測試，拆解 ScienceIDE 如何把科學等價性寫成可重用的檢查，並分析私有 verifier、資料釋出、評測污染與訓練轉移的界線。
90 秒掌握這篇論文
-
MAGS 論文精讀：形式化驗證與安全規格邊界
進階 Agent Runtime、安全與評測精讀 MAGS 如何把程式代理生成的輸出轉入 Dafny、對凍結規格證明並編譯回可執行程式；拆解 220 個形式證明、獨立安全檢查與功能保留結果之間的落差。
90 秒掌握這篇論文
-
GameLogicBench 精讀：讓遊戲邏輯 Agent 經得起逐步執行
中階 Agent Runtime、安全與評測GameLogicBench 把 coding agent 放進 Godot 遊戲專案，用多個場景、隨機種子與逐 tick 狀態斷言檢查規則是否一路成立。本文拆解它怎樣校準評測器、哪些失敗最常見，以及為何這個 benchmark 仍不能代表一般軟體 Agent 的可靠度。
90 秒掌握這篇論文
-
Closed-World Resolution 精讀：工具幻覺必須先於權限閘
中階 Agent Runtime、安全與評測精讀 Closed-World Resolution Against Tool Hallucination in LLM Agents，拆解工具不存在、參數不合 schema 與 MCP 多伺服器碰撞為何可能繞過一般權限閘，以及論文測量結果的適用邊界。
90 秒掌握這篇論文
-
EfficientAgent 精讀：並行 Agent 的 KV Cache Offloading
進階 Agent Runtime、安全與評測EfficientAgent 說明 KV cache 從 GPU 搬到 host memory 何時真的划算：關鍵不是單次請求，而是其他並行 Agent 在兩次重用之間形成的 reuse working set。本文拆解容量估算、寫入 admission、SWE-bench replay 結果與硬體邊界。
90 秒掌握這篇論文
-
Completed Pairs Hide Capped Failures 精讀：配對評估的停止規則與未知結果
進階 Agent Runtime、安全與評測ReVerPi 的單次 source-reading campaign 揭示：第一個配對分支碰到 request cap 時，runner 會抑制 companion，讓 completed-pair summary 遺漏已知失敗與未知結果；有限 frame bounds 與分層成本分析說明結論能走多遠。
90 秒掌握這篇論文
-
LLM Agent 執行軌跡竄改論文精讀：紀錄完整性與可信觀測
中階 Agent Runtime、安全與評測精讀 arXiv v1 如何在十組本機 coding-agent harness、受控容器與四種攻擊路徑中測試 trace tampering，並拆解 native trace、外部檔案 observer 與工具效果證據的差異。
90 秒掌握這篇論文
-
Agent Skills 論文精讀：版本限定外掛遷移的回溯評估
中階 Agent Runtime、安全與評測深讀 arXiv v1 如何比較 dsh 外掛遷移 skill 的靜態診斷分數，並以契約反例、任務集中度、LLM 評審敏感度與 artifact 範圍限制解讀其證據。
90 秒掌握這篇論文
-
APort Vault 論文精讀：AI Agent 付款授權評測
進階 Agent Runtime、安全與評測深讀 APort Vault：把付款請求、付款成功、政策判斷、收款人白名單與未授權轉帳拆開，檢視模型外的 pre-action authorization 在限定 replay 中做到了什麼，以及哪些工程與證據邊界仍在。
90 秒掌握這篇論文
-
Agent 回歸測試論文精讀：依執行軌跡挑選評測子集
進階 Agent Runtime、安全與評測深讀 Trajectory-Aware Benchmark Subset Selection：解析歷史 outcome 分層、軌跡去洩漏與幾何選樣，檢視 76 種配置、時間交叉驗證、成本與跨任務邊界。
90 秒掌握這篇論文
-
XYEval: Agents say yes to bad advice 精讀：Agent 為何接受錯誤建議
進階 Agent Runtime、安全與評測精讀 Wu 等人的 XYEval（arXiv 2609.23939 v1）：以受控 XY mutation 比較五個模型在六類任務的表現，追蹤誤導建議如何影響任務完成、對話表達與工具軌跡，並檢視基準和生成器的邊界。
90 秒掌握這篇論文
-
Prime Agent: A Self-Improving RLM Harness 精讀：長期任務與外部狀態管理
進階 Agent Runtime、安全與評測精讀 Prime Agent（arXiv 2608.23552 v1）：拆解 L0–L3 狀態層級、持續 REPL、遞迴 subagents 與 Continual Harness，並檢視作者自報評測、持續性帶來的規格鑽漏洞風險，以及未沙箱化執行的部署邊界。
90 秒掌握這篇論文
-
Self Improvement via Fast Tree-search 精讀：SIFT Agent 自我改進
進階 Agent Runtime、安全與評測Self Improvement via Fast Tree-search 如何用成對 judge、Bradley–Terry 排名與非同步搜尋篩選 Agent patch，再把昂貴評測留給較有希望的候選。
90 秒掌握這篇論文
-
Bounded Agents 論文精讀：多 Agent 系統的委派與授權安全
進階 Agent Runtime、安全與評測Bounded Agents 如何用 principal chain、合取式授權條件與 composition closure，限制多 Agent 委派及跨步驟副作用；並檢查模型外強制與效用成本。
90 秒掌握這篇論文
-
After the Party 論文精讀：Agent Skill 生態的治理與安全掃描
進階 Agent Runtime、安全與評測深讀 After the Party 的 OpenClaw／ClawHub 生態研究：從 91 天的爆發式成長、下載集中與 reviewability gap，到 privilege evidence、掃描器分歧與可轉移的治理方法。
90 秒掌握這篇論文
-
SilentProbe 論文精讀：Agent 工具 API 的靜默失敗偵測
進階 Agent Runtime、安全與評測SilentProbe 如何從 OpenAPI 規格缺口與 live differential probe 找出沉默 API 失敗，並解釋限制揭露與機器可讀性如何影響 Agent 判斷。
90 秒掌握這篇論文
-
BTS-AgentBench 論文精讀：從遙測紀錄建立可重播的 Agent 評測
進階 Agent Runtime、安全與評測精讀 Jeong-Yoon Kim 的 BTS-AgentBench（arXiv:2608.27334 v1）：從 BTS 建築遙測建立只讀工具、可執行任務、有限互動契約與證據化評測；精確重播很強，但不等於生產安全或任意領域的可攜性。
90 秒掌握這篇論文
-
ACE 論文精讀：簡報編輯 Agent 的結構理解與自我修正
進階 Agent Runtime、安全與評測ACE 如何以階層式 scene graph、CARE 與指令遵循 judge 建立可路由、可差分、可回溯的簡報編輯閉迴路；並釐清評測與重現邊界。
90 秒掌握這篇論文
-
Agent 工具呼叫成功卻工作流程失敗：外部效應異常論文精讀
進階 Agent Runtime、安全與評測深讀 Agent–Tool Boundary 的 effect-history 模型：為什麼單次 tool call 回傳成功，仍不足以保證長流程的外部世界狀態一致，以及 MCP annotation 與交易式工具契約究竟填補了哪些空白。
90 秒掌握這篇論文
-
EvoOntology 論文精讀：資料 Agent 的自我演化本體層
進階 理解檢索、記憶與 Production RAGEvoOntology 如何把異質資料的 ontology 封裝成 MCP server，建立有證據依據的初始結構，再以可歸因的 typed edits 與成對閘門持續演化。
90 秒掌握這篇論文
-
Corrupt Plans, Clean Traces 論文精讀：計畫注入與思維鏈監控
進階 Agent Runtime、安全與評測Plan Injection 如何讓惡意計畫在 context 中影響行為，卻留下看似自然的推理軌跡；並說明這對 Chain-of-Thought 監控與因果判讀的限制。
90 秒掌握這篇論文
-
DRACO 論文精讀：用動態評分規準分配 Agent 訓練回饋
進階 Agent Runtime、安全與評測精讀 DRACO（arXiv:2609.04094）：在沒有 ground-truth verifier 的長程工具任務中，動態產生每條 rollout 的 rubric，再把 trajectory-level advantage 依 judge 指出的步驟重新分配給 GRPO。
90 秒掌握這篇論文
-
CONTINUITY 論文精讀：Agent 組合中的安全上下文與授權契約
進階 Agent Runtime、安全與評測CONTINUITY 如何用安全上下文契約、欄位來源、轉換見證與 effect-bound permit，檢查 LLM Agent 從指令到外部副作用的授權連續性。
90 秒掌握這篇論文
-
Parsing the Stream 論文精讀：長期 Agent 的即時狀態與執行軌跡
進階 Agent Runtime、安全與評測Parsing the Stream 如何把 append-only trace 摺疊成 typed RunState，再產生 observer 與 worker 視圖；並檢查長程任務收益與固定彙總的適用邊界。
90 秒掌握這篇論文
-
間接提示注入論文精讀：LLM 應用的外部內容攻擊
中階 Agent Runtime、安全與評測間接提示注入如何藉由網頁、郵件或工具輸出，把未受信資料送進模型的指令通道；本文整理攻擊面、實證案例與應用控制邊界。
90 秒掌握這篇論文
-
ReAct 論文精讀：結合推理與行動的語言模型提示方法
中階 Agent Runtime、安全與評測ReAct 如何把自然語言推理與環境行動交錯，讓模型在問答與互動任務中規劃、觀察再修正；並解析搜尋失敗、幻覺與評測設定。
90 秒掌握這篇論文
-
Toolformer 論文精讀：語言模型如何自監督學習使用工具
中階 Agent Runtime、安全與評測Toolformer 如何用未來 token 損失篩選工具呼叫，讓語言模型自監督學會使用問答、搜尋、計算機、日曆與翻譯 API。
90 秒掌握這篇論文
-
SWE-bench 論文精讀：用 GitHub 真實問題評測程式修復能力
中階 Agent Runtime、安全與評測SWE-bench 如何以真實 GitHub issue、完整 Python 倉庫與測試評測程式修復能力，並說明檢索方式、測試協議與解題率的關係。
90 秒掌握這篇論文
-
Reflexion 論文精讀：以語言回饋與記憶改善 Agent 任務表現
中階 Agent Runtime、安全與評測Reflexion 如何在不更新模型權重的情況下，把自我回饋寫入 episodic memory，跨多次嘗試修正策略；並比較程式與互動任務的成效差異。
90 秒掌握這篇論文
-
MemGPT: Towards LLMs as Operating Systems 精讀：LLM 記憶體分層
中階 Agent Runtime、安全與評測MemGPT 如何把有限 context 視為工作記憶，以作業系統式分層與函式呼叫管理外部記憶；並解析長對話與多跳查詢的實驗邊界。
90 秒掌握這篇論文
-
思維鏈（Chain-of-Thought）論文精讀：提示如何引導多步推理
中階 Agent Runtime、安全與評測Chain-of-Thought prompting 如何用 few-shot 中間步驟引導大型語言模型進行多步推理，並解析模型規模、任務類型與提示效果的關係。
90 秒掌握這篇論文
-
WebGPT 論文精讀：結合瀏覽器檢索與人類回饋的問答模型
中階 Agent Runtime、安全與評測WebGPT 如何讓模型操作文字瀏覽器，學會搜尋、引用與回答；並釐清人類偏好評測能證明什麼，以及它與 ReAct 代理迴圈的差異。
90 秒掌握這篇論文
-
Gorilla 論文精讀：LLM 的 API 檢索與工具呼叫
中階 Agent Runtime、安全與評測Gorilla 如何結合 API 文件檢索與微調，讓模型產生較可核對的 API 呼叫；並解讀 APIBench 對目錄級工具選擇與參數生成的評測範圍。
90 秒掌握這篇論文
-
MidTool 論文精讀：用中期訓練改善 Agent 工具使用
進階 Agent Runtime、安全與評測深讀 MidTool：用 20.3B-token、11.22M-sample 的工具使用語料，把 schema grounding、工作流組合與不完整資訊下的恢復能力提前教給模型；但 web-search 仍是 0%。
90 秒掌握這篇論文
-
SWE-Bench ProMax 論文精讀：程式 Agent 的大型多語言重構評測
進階 Agent Runtime、安全與評測深讀 SWE-Bench ProMax：以 170 個跨檔案、多語言、行為保持的程式重構任務，檢驗 coding agent 是否能完成大型變更，而不只修好一個測試。
90 秒掌握這篇論文
-
Argus 論文精讀：長期推理 Agent 的執行環境
進階 Agent Runtime、安全與評測拆解 Argus 的 Manager–Planner–Engineer–Reviewer runtime、持久狀態、驗證式演化與 rollback，並區分 benchmark 結果、作者自營案例與尚未證明的自我學習主張。
90 秒掌握這篇論文
-
RAG-MCP 論文精讀：用檢索改善 LLM 工具選擇
中階 理解檢索、記憶與 Production RAG以論文證據檢視 RAG-MCP 的工具路由流程、11,100 候選壓力測試、MCPBench 結果、規模退化與未釋出 artifact。
90 秒掌握這篇論文
歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。
演講與聯絡