Agent 評測與可觀測性
78 篇精讀筆記
從任務結果、軌跡、runtime 訊號到 benchmark，拆解 Agent 是否真的可靠。
讀者問題
除了最後答案，我們還要觀察與驗證哪些訊號，才能相信 Agent 完成了工作？
READING LIBRARY
深入讀這個議題
目前收錄在這個研究議題下的所有論文精讀。
-
TruthInsightBench 精讀：如何評估 AI 是否真的在做科學發現
進階 Agent Runtime、安全與評測TruthInsightBench 把評估焦點從重現預設答案，移到 Agent 自行提出的主張是否有可追查、穩健、受控制且可被推翻的證據。本文拆解盲測任務、29 項評分與四種 coding-agent scaffold 的結果，也檢視單一 frozen model、單次執行和 LLM judge 校準的邊界。
90 秒掌握這篇論文
-
StepGuard 論文精讀：逐步檢查 Agent 工具行動
中階 Agent Runtime、安全與評測拆解 StepGuard 如何用前綴對齊的合成軌跡訓練 4B runtime guard，並以 Balance-GRPO 調整安全與任務效用。細讀 AgentDojo、AgentDyn 的 77.3% 相對 ASR 降幅、2.8 個百分點效用代價，以及合成監督、錯誤類型、延遲和非形式保證等部署邊界。
90 秒掌握這篇論文
-
RetrievalRouter 精讀：讓每個查詢選擇合適的檢索路徑
中階 理解檢索、記憶與 Production RAGRetrievalRouter 讓查詢在 BM25、文字向量、多模態與重排序管線間動態選擇。本文拆解其軟目標路由、11 個資料集的準確率延遲結果，以及離線 benchmark 尚未回答的部署成本與泛化問題。
90 秒掌握這篇論文
-
MLOps-Bench 精讀：Agent 能否完成生產級 ML 維運
中階 Agent Runtime、安全與評測MLOps-Bench 把 coding agent 放進 31 個真實開源 ML 專案，測試它能否跨資料、訓練、服務、監控與治理完成可執行變更。本文拆解任務如何由 repo 證據生成、六種 Agent 的 187 項評測結果，以及 31.2% 任務完成率與 68.7% 測試通過率之間的關鍵落差。
90 秒掌握這篇論文
-
Librarian Agents 論文精讀：讓 Agent 提前整理可重用工作區
中階 理解檢索、記憶與 Production RAGLibrarian Agents 把文件檢索的部分工作移到查詢到來之前：Builder 以強化學習建立可導覽、保留來源路徑的階層式工作區。本文拆解 50 個保留語料的主要評測、另一組 443 題合成重用測試、BRIGHT 跨域結果與成本轉折，並說明它尚未證明哪些事。
90 秒掌握這篇論文
-
WetRobo 精讀：Coding Agent 如何適應生物實驗室機器人
進階 Agent Runtime、安全與評測WetRobo 把可搬移的機器人套件、操作規則與可檢視程式交給 Coding Agent，讓它在兩個實驗室分別改寫控制流程。本文解讀三項窄任務、跨實驗室瓶蓋比較，以及這種結果尚不能證明什麼。
90 秒掌握這篇論文
-
Ask the Tool, Don't Guess 精讀：工具進度如何改變 KV Cache 調度
進階 Agent Runtime、安全與評測工具執行時間取決於即時負載，呼叫名稱和歷史紀錄難以預測。本文解析 Ask the Tool, Don't Guess 如何從工具輸出與執行環境讀取進度，將它轉成 KV cache 保留、卸載與回載訊號，並檢視作者在 4 張 H100 上報告的 TTFT 改善及其適用邊界。
90 秒掌握這篇論文
-
PACT: Can Enterprise AI Assistants Be Trusted Under Pressure? 精讀：企業助理的規則遵循
進階 Agent Runtime、安全與評測PACT 將企業 AI 助理置於期限、主管授權與多輪推促等日常壓力下，評估它是否遵守規則、是否誤用規則，以及違規後能否誠實說明；本文拆解其六軸指標與證據邊界。
90 秒掌握這篇論文
-
Agent Planning Benchmark 精讀：拆解 Agent 規劃與失敗診斷
進階 Agent Runtime、安全與評測從 4,209 個案例與五種規劃設定，理解 APB 如何把 Agent 的長程規劃、工具干擾、故障恢復與拒答拆成可診斷的證據；並檢視其受建構任務、LLM 評審與受控執行驗證限制的範圍。
90 秒掌握這篇論文
-
An Empirical Study of Harness Design for Coding Agents 精讀：規劃、工具與上下文管理
進階 Agent Runtime、安全與評測同一個程式碼 Agent 換上規劃提示、工具介面或上下文策略，何時會做得更好、何時只增加成本？以四個模型、兩個基準與 176 組配對設定讀懂 Harness 元件的條件式效果。
90 秒掌握這篇論文
-
SoL-Pi 精讀：自動研究如何改良 Agent Harness
進階 Agent Runtime、安全與評測SoL-Pi 將 Harness 改良寫成一組帶有凍結指標、能力門檻與獨立驗證的自動研究迴圈，並在固定模型外組合四種減少重複工作的機制。本文拆解搜尋隔離、EdgeBench 證據、作者估算的 token 成本，以及跨模型與部署邊界。
90 秒掌握這篇論文
-
TRACE 精讀：數位典藏中的可追溯來源探索
進階 理解檢索、記憶與 Production RAGTRACE 把 OCR 失真的法國歷史典藏檢索做成可檢視的 Agent 流程：先依子語料拆題，再融合檢索、保留不確定證據並跨問題重排。讀懂它在 1,752 題上的結果，也看清資料版本、內部部署與成本主張的重現邊界。
90 秒掌握這篇論文
-
Refuse, Decompose, Refresh 精讀：閉環 AI 評估的主張邊界
進階 Agent Runtime、安全與評測讀懂閉環評估如何拒絕缺乏觀測支持的比較、分開報告不同判定，並把分布漂移視為參考圖失效訊號。本文拆解模擬器中的門檻、分母、留出結果與部署界線。
90 秒掌握這篇論文
-
ScienceIDE 精讀：讓科學程式成為可驗證的 Agent 環境
進階 Agent Runtime、安全與評測從 64 個科學環境、2,812 個任務與一組 85 題硬測試，拆解 ScienceIDE 如何把科學等價性寫成可重用的檢查，並分析私有 verifier、資料釋出、評測污染與訓練轉移的界線。
90 秒掌握這篇論文
-
Finding the Right Fit 精讀：模型、Harness 與任務如何改變 Agent 排名
進階 Agent Runtime、安全與評測比較 66 組模型與 Harness 在三個任務集上的分數、成本與失敗回饋。讀懂排名反轉，也看清一次執行、未配平設定與軌跡案例能支持到哪裡。
90 秒掌握這篇論文
-
AgentPProf 精讀：讓長期 Agent 軌跡能跨執行剖析
進階 Agent Runtime、安全與評測AgentPProf 把 Agent 的 prompts、工具操作與系統副作用映射成可跨 session 彙整的語意操作堆疊。論文報告 0.764 B³ F1 與三項定位 benchmark 的 MAP 改善；火焰圖能指出資源集中處，卻不等於因果證明。
90 秒掌握這篇論文
-
EconSkills 精讀：網頁 Agent 技能如何轉移與檢索
進階 Agent Runtime、安全與評測EconSkills 將成功的經濟資料查詢軌跡整理成含範圍、驗證與復原步驟的參數化 SOP。已知技能匹配時轉移有效；整庫檢索仍受覆蓋率與近似錯配牽制。
90 秒掌握這篇論文
-
MAGS 論文精讀：形式化驗證與安全規格邊界
進階 Agent Runtime、安全與評測精讀 MAGS 如何把程式代理生成的輸出轉入 Dafny、對凍結規格證明並編譯回可執行程式；拆解 220 個形式證明、獨立安全檢查與功能保留結果之間的落差。
90 秒掌握這篇論文
-
GameLogicBench 精讀：讓遊戲邏輯 Agent 經得起逐步執行
中階 Agent Runtime、安全與評測GameLogicBench 把 coding agent 放進 Godot 遊戲專案，用多個場景、隨機種子與逐 tick 狀態斷言檢查規則是否一路成立。本文拆解它怎樣校準評測器、哪些失敗最常見，以及為何這個 benchmark 仍不能代表一般軟體 Agent 的可靠度。
90 秒掌握這篇論文
-
Loopjacking 論文精讀：人類核准如何失去操作綁定
進階 Agent Runtime、安全與評測精讀 Loopjacking 如何區分核准畫面不完整與核准後狀態替換，並以版本固定的產品路徑、sink-level 證據及負向控制檢驗人工核准是否仍約束最終副作用。
90 秒掌握這篇論文
-
Agents Are Systems, Not Models 精讀：Agent 評測不能只看模型分數
進階 Agent Runtime、安全與評測這篇 AI4Science 研究拆解任務資訊、推理、驗證、時間預算與 backbone 如何共同影響 Agent。主實驗中，同一設定重跑噪音約占有效嘗試分數變異的 54%；但結論只來自四個科學任務，不能直接外推成所有 Agent 的定律。
90 秒掌握這篇論文
-
When Upstream Messages Override Correct Answers：上游錯誤如何改寫下游判斷
中階 Agent Runtime、安全與評測以五個 benchmark、五種接收模型的受控訊息交接實驗，理解錯誤上游答案如何讓原本能答對的下游模型改採同一個錯誤，以及這項發現尚未證明什麼。
90 秒掌握這篇論文
-
Raven 精讀：Harness of Harnesses 如何規劃多 Agent 協作
進階 Agent Runtime、安全與評測Raven 把可執行的模型與 harness 配成專才，再由 Host Agent 規劃合作 DAG。本文拆解 harness composition、MAOB 評測與 +10.4／+10.5 個百分點的真正分母：它衡量規劃圖匹配，不是 worker 執行成功率。
90 秒掌握這篇論文
-
EfficientAgent 精讀：並行 Agent 的 KV Cache Offloading
進階 Agent Runtime、安全與評測EfficientAgent 說明 KV cache 從 GPU 搬到 host memory 何時真的划算：關鍵不是單次請求，而是其他並行 Agent 在兩次重用之間形成的 reuse working set。本文拆解容量估算、寫入 admission、SWE-bench replay 結果與硬體邊界。
90 秒掌握這篇論文
-
Stale-Document Poisoning 精讀：RAG 如何辨識已失效的證據
進階 理解檢索、記憶與 Production RAG真實、曾經正確的文件也可能讓 RAG 把模型原本答對的答案改錯。本文拆解 317 個跨領域知識反轉、日期與有效期間的差異、因果介入，以及依賴可信 metadata 的 reranker。
90 秒掌握這篇論文
-
Completed Pairs Hide Capped Failures 精讀：配對評估的停止規則與未知結果
進階 Agent Runtime、安全與評測ReVerPi 的單次 source-reading campaign 揭示：第一個配對分支碰到 request cap 時，runner 會抑制 companion，讓 completed-pair summary 遺漏已知失敗與未知結果；有限 frame bounds 與分層成本分析說明結論能走多遠。
90 秒掌握這篇論文
-
SpecHarness 論文精讀：以規格與證據判定 Agent 任務完成
中階 Agent Runtime、安全與評測精讀 SpecHarness 如何把 agent 可見的指示編成來源可追溯的義務，並以合格證據提交狀態；同時檢視 SkillsBench 與 GuideBench 結果、執行成本與完整 runtime 歸因限制。
90 秒掌握這篇論文
-
LLM Agent 執行軌跡竄改論文精讀：紀錄完整性與可信觀測
中階 Agent Runtime、安全與評測精讀 arXiv v1 如何在十組本機 coding-agent harness、受控容器與四種攻擊路徑中測試 trace tampering，並拆解 native trace、外部檔案 observer 與工具效果證據的差異。
90 秒掌握這篇論文
-
Agent Skills 論文精讀：版本限定外掛遷移的回溯評估
中階 Agent Runtime、安全與評測深讀 arXiv v1 如何比較 dsh 外掛遷移 skill 的靜態診斷分數，並以契約反例、任務集中度、LLM 評審敏感度與 artifact 範圍限制解讀其證據。
90 秒掌握這篇論文
-
Agent 記憶過期論文精讀：有限驗證預算下的約束檢查失敗
進階 Agent Runtime、安全與評測當 Agent 只驗證部分限制時，過期但彼此一致的規則為何仍會被接受；本文拆解不可變來源、追加式取代、有限驗證預算與合成實驗適用範圍。
90 秒掌握這篇論文
-
APort Vault 論文精讀：AI Agent 付款授權評測
進階 Agent Runtime、安全與評測深讀 APort Vault：把付款請求、付款成功、政策判斷、收款人白名單與未授權轉帳拆開，檢視模型外的 pre-action authorization 在限定 replay 中做到了什麼，以及哪些工程與證據邊界仍在。
90 秒掌握這篇論文
-
Agent 回歸測試論文精讀：依執行軌跡挑選評測子集
進階 Agent Runtime、安全與評測深讀 Trajectory-Aware Benchmark Subset Selection：解析歷史 outcome 分層、軌跡去洩漏與幾何選樣，檢視 76 種配置、時間交叉驗證、成本與跨任務邊界。
90 秒掌握這篇論文
-
MobileCybench 論文精讀：用可執行探針評測漏洞發現能力
進階 Agent Runtime、安全與評測深讀 MobileCybench：以 13 款 Android app、495 個安全性 probes 評估五種 coding agents，拆清 probe 觸發、漏洞歸因、維護者確認與外推邊界。
90 秒掌握這篇論文
-
XYEval: Agents say yes to bad advice 精讀：Agent 為何接受錯誤建議
進階 Agent Runtime、安全與評測精讀 Wu 等人的 XYEval（arXiv 2609.23939 v1）：以受控 XY mutation 比較五個模型在六類任務的表現，追蹤誤導建議如何影響任務完成、對話表達與工具軌跡，並檢視基準和生成器的邊界。
90 秒掌握這篇論文
-
The RAT 論文精讀：用貝氏模型拆解 RAG 評估
進階 理解檢索、記憶與 Production RAG深讀 The RAT：以聯合 Bayesian 模型拆分 retrieval、abstention 與 answer correctness，並檢視標註預算、LLM judge 校準、partial retrieval 與其受控 Wikipedia 評估邊界。
90 秒掌握這篇論文
-
Prime Agent: A Self-Improving RLM Harness 精讀：長期任務與外部狀態管理
進階 Agent Runtime、安全與評測精讀 Prime Agent（arXiv 2608.23552 v1）：拆解 L0–L3 狀態層級、持續 REPL、遞迴 subagents 與 Continual Harness，並檢視作者自報評測、持續性帶來的規格鑽漏洞風險，以及未沙箱化執行的部署邊界。
90 秒掌握這篇論文
-
Self Improvement via Fast Tree-search 精讀：SIFT Agent 自我改進
進階 Agent Runtime、安全與評測Self Improvement via Fast Tree-search 如何用成對 judge、Bradley–Terry 排名與非同步搜尋篩選 Agent patch，再把昂貴評測留給較有希望的候選。
90 秒掌握這篇論文
-
BioPhys-Bridge 論文精讀：結合物理與生物機制的科學推理評測
進階 理解檢索、記憶與 Production RAG深讀 BioPhys-Bridge（arXiv:2609.19180 v1）：把 evidence ID、數值與單位、物理方程、假設、生物機制與下一步實驗放進同一個 benchmark case，並拆開 attribution 分數與真正的 scientific correctness。
90 秒掌握這篇論文
-
RAFT 論文精讀：故障排除 Agent 的狀態式檢索增強框架
進階 理解檢索、記憶與 Production RAG深讀 RAFT：A Stateful Retrieval-Augmented Framework for Troubleshooting Agents（arXiv:2609.20754）：把封閉支援案例整理成狀態轉移軌跡，在 entry level 檢索中間狀態，再回傳完整 parent case。
90 秒掌握這篇論文
-
Learning When to Trust 論文精讀：LLM 如何選擇性信任上下文
進階 理解檢索、記憶與 Production RAGSCOPE 如何用配對情境與偏好訓練，降低模型被誤導 context 翻轉正確答案的機率；並保留純文字測試、資料污染與實際發生率的限制。
90 秒掌握這篇論文
-
Bounded Agents 論文精讀：多 Agent 系統的委派與授權安全
進階 Agent Runtime、安全與評測Bounded Agents 如何用 principal chain、合取式授權條件與 composition closure，限制多 Agent 委派及跨步驟副作用；並檢查模型外強制與效用成本。
90 秒掌握這篇論文
-
HyPE 論文精讀：用假設性提示嵌入改善 RAG 檢索
中階 理解檢索、記憶與 Production RAGHypothetical Prompt Embeddings 如何替每個 chunk 生成假設問題，把文件檢索改成問題對問題比對；並評估索引成本、切塊與不同資料集的收益差異。
90 秒掌握這篇論文
-
After the Party 論文精讀：Agent Skill 生態的治理與安全掃描
進階 Agent Runtime、安全與評測深讀 After the Party 的 OpenClaw／ClawHub 生態研究：從 91 天的爆發式成長、下載集中與 reviewability gap，到 privilege evidence、掃描器分歧與可轉移的治理方法。
90 秒掌握這篇論文
-
Agentic RAG 論文精讀：預測部分答案品質與繼續檢索的效益
進階 理解檢索、記憶與 Production RAG如何從 Agentic RAG 的中間答案與軌跡訊號預測品質和效用，提早停止檢索迭代；並檢查節省成本的證據及跨設定轉移限制。
90 秒掌握這篇論文
-
SilentProbe 論文精讀：Agent 工具 API 的靜默失敗偵測
進階 Agent Runtime、安全與評測SilentProbe 如何從 OpenAPI 規格缺口與 live differential probe 找出沉默 API 失敗，並解釋限制揭露與機器可讀性如何影響 Agent 判斷。
90 秒掌握這篇論文
-
RAGSieve 論文精讀：用局部對比偵測 RAG 知識投毒
進階 理解檢索、記憶與 Production RAG深讀 RAGSieve：以同一個檢索事件的 retrieval tail 與同一個語料鄰域作為局部對照，在 query-time 與 corpus-time 找出可疑的排名推升；同時釐清投毒偵測不是事實查核。
90 秒掌握這篇論文
-
BTS-AgentBench 論文精讀：從遙測紀錄建立可重播的 Agent 評測
進階 Agent Runtime、安全與評測精讀 Jeong-Yoon Kim 的 BTS-AgentBench（arXiv:2608.27334 v1）：從 BTS 建築遙測建立只讀工具、可執行任務、有限互動契約與證據化評測；精確重播很強，但不等於生產安全或任意領域的可攜性。
90 秒掌握這篇論文
-
Agentic RAG 論文精讀：失敗傳播與因果歸因
進階 理解檢索、記憶與 Production RAG深讀 When Failures Propagate：用介入式 benchmark、三跳 MuSiQue 與 certified content corruption，拆開 Agentic RAG 的失敗偵測、因果歸因、傳播與恢復。
90 秒掌握這篇論文
-
ACE 論文精讀：簡報編輯 Agent 的結構理解與自我修正
進階 Agent Runtime、安全與評測ACE 如何以階層式 scene graph、CARE 與指令遵循 judge 建立可路由、可差分、可回溯的簡報編輯閉迴路；並釐清評測與重現邊界。
90 秒掌握這篇論文
-
Agent 工具呼叫成功卻工作流程失敗：外部效應異常論文精讀
進階 Agent Runtime、安全與評測深讀 Agent–Tool Boundary 的 effect-history 模型：為什麼單次 tool call 回傳成功，仍不足以保證長流程的外部世界狀態一致，以及 MCP annotation 與交易式工具契約究竟填補了哪些空白。
90 秒掌握這篇論文
-
EvoOntology 論文精讀：資料 Agent 的自我演化本體層
進階 理解檢索、記憶與 Production RAGEvoOntology 如何把異質資料的 ontology 封裝成 MCP server，建立有證據依據的初始結構，再以可歸因的 typed edits 與成對閘門持續演化。
90 秒掌握這篇論文
-
Corrupt Plans, Clean Traces 論文精讀：計畫注入與思維鏈監控
進階 Agent Runtime、安全與評測Plan Injection 如何讓惡意計畫在 context 中影響行為，卻留下看似自然的推理軌跡；並說明這對 Chain-of-Thought 監控與因果判讀的限制。
90 秒掌握這篇論文
-
K-Bench 論文精讀：Agent 部署情境的 LLM 遺忘評測
進階 Agent Runtime、安全與評測K-Bench 如何跨多個可觀測通道與記憶介質測試 Agent unlearning，並區分真正遺忘、資訊轉移到其他通道，以及 Agent 本身崩潰。
90 秒掌握這篇論文
-
REVA 論文精讀：重用證據視圖以壓縮 RAG 上下文
進階 理解檢索、記憶與 Production RAGREVA 如何把生成器注意力歷史整理成以文件為鍵的分數庫，重用 RAG 證據視圖；並檢查新文件 fallback、預算、品質與延遲取捨。
90 秒掌握這篇論文
-
VikingRAG 論文精讀：結構化文件檢索與 Token 效率
進階 理解檢索、記憶與 Production RAG深讀 VikingRAG：把文件階層保留在 URI 可定位的外部 storage，以 Search、List、Grep、Read 支援 evidence-gap retrieval，再用 experience edges 與 adaptive escalation 降低重複探索的 token 與延遲。
90 秒掌握這篇論文
-
DRACO 論文精讀：用動態評分規準分配 Agent 訓練回饋
進階 Agent Runtime、安全與評測精讀 DRACO（arXiv:2609.04094）：在沒有 ground-truth verifier 的長程工具任務中，動態產生每條 rollout 的 rubric，再把 trajectory-level advantage 依 judge 指出的步驟重新分配給 GRPO。
90 秒掌握這篇論文
-
CONTINUITY 論文精讀：Agent 組合中的安全上下文與授權契約
進階 Agent Runtime、安全與評測CONTINUITY 如何用安全上下文契約、欄位來源、轉換見證與 effect-bound permit，檢查 LLM Agent 從指令到外部副作用的授權連續性。
90 秒掌握這篇論文
-
Parsing the Stream 論文精讀：長期 Agent 的即時狀態與執行軌跡
進階 Agent Runtime、安全與評測Parsing the Stream 如何把 append-only trace 摺疊成 typed RunState，再產生 observer 與 worker 視圖；並檢查長程任務收益與固定彙總的適用邊界。
90 秒掌握這篇論文
-
Generative Agents 論文精讀：以記憶、反思與計畫模擬人類行為
中階 Agent Runtime、安全與評測Generative Agents 如何用記憶串流、反思與規劃模擬 Smallville 中的社會互動；並解讀消融實驗與兩天沙盒觀察所支持的行為證據。
90 秒掌握這篇論文
-
ReAct 論文精讀：結合推理與行動的語言模型提示方法
中階 Agent Runtime、安全與評測ReAct 如何把自然語言推理與環境行動交錯，讓模型在問答與互動任務中規劃、觀察再修正；並解析搜尋失敗、幻覺與評測設定。
90 秒掌握這篇論文
-
Toolformer 論文精讀：語言模型如何自監督學習使用工具
中階 Agent Runtime、安全與評測Toolformer 如何用未來 token 損失篩選工具呼叫，讓語言模型自監督學會使用問答、搜尋、計算機、日曆與翻譯 API。
90 秒掌握這篇論文
-
SWE-bench 論文精讀：用 GitHub 真實問題評測程式修復能力
中階 Agent Runtime、安全與評測SWE-bench 如何以真實 GitHub issue、完整 Python 倉庫與測試評測程式修復能力，並說明檢索方式、測試協議與解題率的關係。
90 秒掌握這篇論文
-
思維鏈（Chain-of-Thought）論文精讀：提示如何引導多步推理
中階 Agent Runtime、安全與評測Chain-of-Thought prompting 如何用 few-shot 中間步驟引導大型語言模型進行多步推理，並解析模型規模、任務類型與提示效果的關係。
90 秒掌握這篇論文
-
WebGPT 論文精讀：結合瀏覽器檢索與人類回饋的問答模型
中階 Agent Runtime、安全與評測WebGPT 如何讓模型操作文字瀏覽器，學會搜尋、引用與回答；並釐清人類偏好評測能證明什麼，以及它與 ReAct 代理迴圈的差異。
90 秒掌握這篇論文
-
Gorilla 論文精讀：LLM 的 API 檢索與工具呼叫
中階 Agent Runtime、安全與評測Gorilla 如何結合 API 文件檢索與微調，讓模型產生較可核對的 API 呼叫；並解讀 APIBench 對目錄級工具選擇與參數生成的評測範圍。
90 秒掌握這篇論文
-
SWE-Bench ProMax 論文精讀：程式 Agent 的大型多語言重構評測
進階 Agent Runtime、安全與評測深讀 SWE-Bench ProMax：以 170 個跨檔案、多語言、行為保持的程式重構任務，檢驗 coding agent 是否能完成大型變更，而不只修好一個測試。
90 秒掌握這篇論文
-
ADIAS 論文精讀：以問題修復驅動 Agent 自我改進
進階 Agent Runtime、安全與評測深讀 ADIAS：以持續的 issue state 組織跨回合失敗證據，讓 full-code agent optimization 能記住修過什麼、哪些介入失效，以及何時真的修好。
90 秒掌握這篇論文
-
DocMemo 論文精讀：多模態文件的記憶引導檢索
進階 理解檢索、記憶與 Production RAG深讀 DocMemo：用 document schema、page belief 與 question episodic memory 保存跨回合 retrieval state，再以 Bayesian update、Thompson sampling 與 adaptive granularity 找回遺漏證據。
90 秒掌握這篇論文
-
ACM 論文精讀：Agent 系統的組態管理與治理模型
進階 Agent Runtime、安全與評測Agentic Configuration Management 如何用跨框架組態圖、不可變版本、相依影響傳播與 runtime provenance，治理異質 Agent 設定。
90 秒掌握這篇論文
-
An End-to-End Agent Auditing Engine 精讀：A²E 評測與稽核
中階 Agent Runtime、安全與評測精讀 A²E：以 ATP 統一 benchmark 與 agent harness，用 span-based trace 保存執行因果，再以 lifecycle-aligned metrics 分析正確性、工具行為、成本與安全。
90 秒掌握這篇論文
-
ContextWeave 論文精讀：長期 Agent 的工作流程與記憶評測
進階 Agent Runtime、安全與評測拆解 ContextWeave 如何把多月工作流重建成可執行 benchmark，並檢驗記憶對工作區結果、偏好一致性、連續性與誤導風險的真實影響。
90 秒掌握這篇論文
-
Argus 論文精讀：長期推理 Agent 的執行環境
進階 Agent Runtime、安全與評測拆解 Argus 的 Manager–Planner–Engineer–Reviewer runtime、持久狀態、驗證式演化與 rollback，並區分 benchmark 結果、作者自營案例與尚未證明的自我學習主張。
90 秒掌握這篇論文
-
AgentS4D 論文精讀：LLM Agent 執行生命週期的安全風險
進階 Agent Runtime、安全與評測拆解 AgentS4D 如何把 workspace agent 的風險入口、誘導策略、目標傷害與生命週期證據放進同一個 sandbox benchmark，並檢查完成率為什麼不能代表安全。
90 秒掌握這篇論文
-
AgentTrajectorySentinel 論文精讀：LLM Agent 失敗的即時偵測與修復
進階 Agent Runtime、安全與評測精讀 AgentTrajectorySentinel 如何用健康軌跡訓練的低成本時間監控器、決定性驗證與 rollback-and-retry，在不逐步呼叫 LLM judge 的情況下提早攔截失敗；同時拆開它的校準依賴、內容盲點、修復實驗與可重現性邊界。
90 秒掌握這篇論文
-
Before Reasoning Can Fail 論文精讀：Agentic RAG 的證據取得失敗
進階 理解檢索、記憶與 Production RAG精讀 Before Reasoning Can Fail 如何把『搜尋後沒有讀證據就回答』拆成可觀測的軌跡失敗，並檢驗 Read-Gate 是否真的改善多跳問答。
90 秒掌握這篇論文
-
PAST-Bench 論文精讀：個人 Agent 的遞迴自我改進評測
進階 Agent Runtime、安全與評測深讀 PAST-Bench 如何用 fresh-session task families、matched persistence controls 與 trace-level mechanism evidence，分辨 Agent 變好是因為保留經驗，還是只是分數變高。
90 秒掌握這篇論文
-
RubricRanker 論文精讀：深度研究 Agent 的文件重排序
進階 理解檢索、記憶與 Production RAG拆解 RubricRanker 如何用 query-specific search rubrics、SFT 與 GRPO 訓練文件 reranker，並檢查它在 deep research 與 RAG benchmark 上真正改善了什麼。
90 秒掌握這篇論文
-
OSReward 論文精讀：電腦操作 Agent 的獎勵模型評估
進階 Agent Runtime、安全與評測完整拆解 OSReward 的資料建構、27 個 VLM judges、Hard／Multi 子集、錯誤與成本分析、OS-Shepherd-100K 訓練，並延伸成可部署的混合驗證架構。
90 秒掌握這篇論文
歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。
演講與聯絡