Terminal-Bench 4.0 排行榜怎麼看？從成功率、Agent 設定到成本與限制

選 Coding Agent 時，你可能看過「Terminal-Bench 成功率 64.85%」這樣的數字。它看起來很適合拿來排名，但實際決策需要先回答另一個問題：這個數字是在什麼任務、由哪個 Agent、使用什麼設定得到的？

本文以 BenchLM 的 Terminal-Bench 4.0 頁面為例，練習從一列成績讀出有用的資訊。排行榜會更新，第一張表使用頁面標示的 2026 年 10 月 25 日快照，用途是示範讀法，不是推薦固定名次。

第一步：先分辨你正在看哪一張榜

Terminal-Bench 評估 Agent 在終端機環境處理任務的結果。4.0 官方說明指出，此版調整時間、CPU 和記憶體等資源，修正題目並移除部分任務；所有任務的 Agent timeout 設為八小時。這個上限是評測條件，並不代表每次執行都要八小時，也不代表你的工作流程能接受這麼長的等待。

BenchLM 的主表是公開 Terminal-Bench 結果的鏡像，網站說明它沒有重新執行或逐列驗證結果。頁面下方另有 AA Terminal-Bench 4.0：Artificial Analysis 使用自己的 Agent harness 和設定，BenchLM 將它與主表分開。先記錄來源，再比較分數；不要把兩張表的列直接合併成一個排名。

第二步：把一列讀成完整的設定

以下是 BenchLM 所列快照中四個例子。這裡保留頁面顯示的名次；同分仍可能被列在不同名次。

頁面名次	模型	Agent / 推理設定	任務完成率
1	Claude Opus 5.5	Claude Code / max	64.85%
2	Claude Sonnet 5.5	Claude Code / max	61.82%
3	GPT-6 Astra	Codex / max	58.18%
4	GPT-6.1 Sol	Codex / max	58.18%

表格的單位是一個 模型 + Agent + 設定。Agent 負責如何讀取檔案、執行命令、組織上下文與回饋結果；推理設定也可能改變資源使用和表現。不同 Agent 的結果有助於比較整套產品組合，卻不能單憑這個比較判定模型本身誰更好。

同一張快照也列出 GPT-6 Astra 在 Codex 的 max 為 58.18%、medium 為 54.24%。這說明設定值得記錄，但不能推論 max 在每個任務、每次執行或每個成本限制下都比較好。並列的 58.18% 也不代表兩個組合解出了相同題目，或在你的專案中表現相同。

第三步：成功率與信賴區間一起看

Resolution rate 描述評測中任務通過驗證的比例；它的分母、重複次數與彙整方式應以該榜的實際方法為準。64.85% 不是「未來每 100 個工作任務一定有 65 個成功」：題目分布、工具權限、驗證器與你的專案都可能不同。這也不衡量程式碼可維護性、安全性或人工審查成本的全部。

官方榜單說明圖上的誤差線是 95% 信賴區間。它表達估計的不確定性，不是下一次任務的成功機率範圍，也不是自動涵蓋所有題目設計或評測偏差。若用假設例子說明：60% ± 3 個百分點約為 57%–63%；這裡的數字僅用於解釋，並非引用某一列的實際區間。

兩列差距很小時，不要只看小數點後的排名。信賴區間重疊本身不能證明差異不顯著，也不能證明兩者相同；要判斷差異，最好取得每題或每次執行結果，使用適合共同題目的配對比較，並確認評測次數與方法。找不到這些資料時，保留不確定性。

第四步：成本與 Token 要跟成功率一起讀

Snorkel AI 的 Terminal-Bench 4.0 榜單同時列出成功率、Token 與成本。以下擷取 2026 年 10 月 28 日查閱時的顯示數值；數字已由榜單四捨五入，並非即時報價。

模型 / Agent / 推理設定	成功率	Token	成本（美元）
Opus 5.5 / Claude Code / max	64.8%	8.0B	$4,700
Sonnet 5.5 / Claude Code / max	61.8%	19.4B	$7,300
GPT-6 Astra / Codex / max	58.2%	1.5B	$3,300
GPT-6.1 Sol / Codex / max	58.2%	1.5B	$600
GLM-5.3 / Claude Code / max	41.8%	8.7B	$2,700
Grok 4.7 / Grok Build / xhigh	37.6%	5.5B	$3,700
GLM-5.3-Flash / Claude Code / none	35.8%	2.9B	$100
Gemini 3.8 Flash / mini-SWE-agent / high	19.1%	17.2B	$1,800

B 代表十億 Token。Snorkel 說明這是涵蓋 66 題的整次評測總量，而非單題數字；榜單並未依推理設定做成本正規化。表中的成本與 Token 顯示精度有限，計價、快取與重試等細節仍須查原始執行紀錄。

例如，Astra 與 GPT-6.1 Sol 的顯示成功率同為 58.2%，但顯示成本分別為約 $3,300 與 $600；Sonnet 5.5 的顯示 Token 和成本則高於 Opus 5.5，但成功率較低。這些比較描述的是各列評測結果，不能直接推論相同任務表現、原因或你實際會支付的金額。

Gemini 3.8 Flash 這列的 17.2B Token 多於表中多數項目，但顯示成本為 $1,800，低於一些 Token 較少的組合。這是理解計價結構的例子，不足以單獨解釋差異：它使用 mini-SWE-agent 與 high 設定，而其他列的 Agent、設定和 Token 類型可能不同；19.1% 也只反映這個組合在該題組的結果。

官方榜單也顯示 Cost 和 Tokens；BenchLM 的主表則未列出這兩欄。比較前先查清楚數值涵蓋幾題、幾次執行、計價方式、快取與輸入／輸出 Token，以及是否包含工具或基礎設施費用。無法確認範圍時，不要把整次評測成本當成每題費用或自己的月費。

Token 較多也不必然比較貴：輸入、輸出與快取的單價可能不同。若兩個測試的題組、次數與成本口徑一致，可以用「總成本 ÷ 已通過的嘗試數」作為粗略的評測效率指標；它仍不含失敗後人工修復、重跑與品質風險，不能直接當成真實工作成本。

新模型不在舊快照時：GPT-6.1 Terra 怎麼讀？

OpenAI 的 GPT-6.1 Terra 發表文章指出，在最高推理強度下，該模型的 Terminal-Bench 4.0 成績為 50.3%；同文引用 GPT-5.6 Terra 的已公布成績為 21.5%。這是 OpenAI 提供的結果，代表同一 benchmark 名稱下的特定測試設定，仍需查看執行細節和每題結果，才能評估差異與可比性。

前述 BenchLM 主表快照截至 10 月 25 日，不包含後來發布的 GPT-6.1 Terra。BenchLM 另列的 Artificial Analysis 表格則顯示 Terra 為 55.6%，但該表使用另一套執行設定；不要把 OpenAI 的 50.3%、AA 的 55.6% 和上方主表直接拼成新排名。它們都是值得追查的線索，而不是單靠數字就能解釋的模型變化。

OpenAI 也公布標準 API 每百萬 Token 的價格：輸入 $1、快取輸入 $0.05、輸出 $5。這是 Token 單價，不能與上表整次評測的成本直接比較；實際費用取決於輸入、輸出與快取用量。OpenAI 對電腦操作與成本的其他評測主張使用不同 benchmark，也不能當成 Terminal-Bench 的證據。若 Terra 符合你的候選條件，應用同一套內部題目和成本口徑與 Gemini 及其他組合實測。

第五步：不要直接比較不同版本

官方指出，4.0 移除了八個任務、修正十九個任務，並調整資源限制；其中包括不再能有效區分前沿系統的題目。官方版本說明將這些變動視為需要重新執行的變更。因此，3.0 的 70% 和 4.0 的 60% 不能直接說成同一模型「退步 10 個百分點」。先確認版本、題組和執行環境是否相同。

評測本身也會持續修正：官方列出的未來工作包含驗證器改善。公開題組可能受到資料污染或針對評分機制最佳化的影響；單次榜單成績不能排除這些風險。官方開放任務與原始碼，值得查看任務與驗證方式，但公開不等於每列結果都已獨立重現。

把排行榜轉成自己的選型測試

1. 建立候選清單：記錄榜單來源、快照日期、benchmark 版本、模型、Agent、推理設定和分數。把不同來源的結果分開。
2. 挑選代表性任務：從自己的修 bug、跨檔案修改、測試與環境操作中取樣，包含容易失敗和需要判斷的案例；保留未公開的測試題。
3. 固定可比條件：統一任務、環境、工具權限、時間與預算上限；記錄模型與 Agent 版本，重複執行並保存每題結果。若產品能力本來不同，也要明說比較的是整套產品。
4. 定義驗收：除測試是否通過，也檢查需求、程式碼品質、安全與回歸；由熟悉專案的人審查，記錄失敗原因及修復時間。
5. 依決策權重選擇：同時比較通過率、等待時間、實際帳單和人工介入。小樣本先當探索，重大採購或上線決策再擴大樣本。

從排行榜開始能節省搜尋時間；用自己的題目重跑，才能知道榜上的優勢是否與你的工作相符。想補充 Agent 如何使用工具與上下文，可以接著讀 AI Agent 完整指南；若關心測試是否真的檢查到需求，可讀 SWE-CC：Repository 規範與 Coding Agent 評測。