Agent Auditing

系列 · 1 篇

← 返回論文精讀

  • A²E：把 Agent 評測變成可追蹤、可重評的稽核引擎

    中階 Agent Runtime、安全與評測
    Agent Auditing · Part 1 · 筆記 · 2026年8月11日 · 論文 · 2026 · AI Engineering

    精讀 A²E：以 ATP 統一 benchmark 與 agent harness，用 span-based trace 保存執行因果，再以 lifecycle-aligned metrics 分析正確性、工具行為、成本與安全。

    90 秒掌握這篇論文
    問題
    Agent 最後答對，不代表它走了可靠、便宜或安全的路徑；最後答錯，也不代表你知道問題出在 planning、tool use、memory、judge 或 runtime。若每個 harness 自己存一份文字 log，就很難跨 framework 比較，也很難在新 metric 出現時重評既有 trajectory。
    核心想法
    A²E 將 Task、Monitor、Evaluation 分成三層。Agent Task Protocol（ATP）把 benchmark 的 task 與 harness 的執行介面分開；Monitor 將 model calls、tool calls、state 與錯誤組成有 parent-child 關係的 trace；Evaluation 用 lifecycle-aligned taxonomy 把 process、outcome 與 runtime 指標放在一起。
    最重要證據
    實驗涵蓋 23 個 benchmark、9 個 harness、每個 cell 5 個 task，共 1,035 次 scored runs；同一個 DeepSeek-V4-pro FP4 backbone、inference config、tool setup、step limit 與 timeout 被固定。Section 6.2/6.3 報告 harness 間的 success-rate gap 可達 GDPVal 0.20、MMLU-Pro 0.30、tau³-bench 0.66。
    主要邊界
    這是平台架構與診斷框架的 demonstration，不是對九個 harness 的普遍排名。Table 2 的 prose 與顯示的 tasksucceeded/correctness 數值互相矛盾；paper commit、judge calibration、API 變動與 component-level ablation 也不足以支持強因果結論。
    進入完整精讀

歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。

演講與聯絡