← 部落格

工程筆記

OpenGray:決策正確率超過九成,為什麼遇到矛盾目標還不停?

原創水彩概念圖:花花在花園關卡前停步,另一條路通向覆核鈴,呈現停止與升級的不同動作。

Agent 已經在回覆裡指出目標沒有達成,下一個動作卻仍是再試一次。這究竟是模型沒看懂問題,還是整個工作流程沒有給它一條可以離開迴圈的路?

OpenGray把這個問題放進放射治療計畫的研究環境:有些要求能做到,有些經過數學驗證根本不能同時成立。作者希望測到的,是系統能不能在該提交時提交、該停止並要求覆核時升級。本文關心這個 Agent 工程問題;判讀結果時,必須把決策分數、實際達成目標與臨床可用性分開。

優化失敗,還不能證明要求不可能

一個規劃器沒有找到好答案,至少有兩種解釋:要求本身矛盾,或者方法還沒找到存在的解。如果不知道是哪一種,就很難判斷「繼續試」與「請人覆核」哪個才對。

OpenGray 的做法,是先為部分任務建立正解。它以公開 OpenKBP-Opt 頭頸資料為基礎,用劑量影響矩陣將非負的 beamlet fluence,也就是各個小射束的強度,轉成劑量。作者在這個模型內構造兩類矛盾,另存一批能滿足全部硬性目標的計畫作為可行證據。方法與補充 S5區分了「證明無解」和「找到一個解」的兩種證據。

其中較難的一類,是靶區與器官的重疊矛盾。直覺上,同一小塊組織不能同時接受高於某個值、又低於另一個不相容值的劑量。若重疊的體素數,比靶區允許低劑量的數量加上器官允許高劑量的數量還多,就無法把所有重疊體素都安置到容許範圍。論文的正式證明另處理了劑量容差與插值,這是一個充分條件,不是能判斷任何計畫是否可行的通用解算器。

可行控制則反過來:作者保存了一個在相同模型、優化器與原始預算內滿足所有硬性目標的計畫。這讓評估者知道,後來某個 Agent 沒有做到,不能直接歸因為任務不可能。也不能把「找不到證據計畫」倒過來當作無解證明;研究會把無法驗證的任務排除。

九成總分,可能只給最難的停止判斷很小權重

作者比較了四種系統:規則式 controller、加上預先算術檢查的 controller、只讓 LLM 審閱一次再交給 controller 的 interpreter,以及由 LLM 選擇每一步工具操作的完整 Agent。

主要評估保留了 30 個病人案例。四類計分任務的可構造數量不同,合計 94 個病人—任務類別組合;每個語言系統以 Terra 各跑兩次,形成各 188 次嘗試。例行規劃與醫師備註衝突另行分析,沒有混進主要決策正確率。表 1 與補充 S1.4說明了這個評估範圍。

計分任務有效案例數規定的決策Terra 完整 Agent 的結果
要求的結構不存在30升級覆核60/60 次升級
覆蓋要求超過全身劑量上限29升級覆核56/58 次升級;另有一次提交、一次技術失敗
靶區與器官重疊矛盾10升級覆核5/20 次升級
已驗證可行的控制題25提交50/50 次提交

在這個設定下,作者報告完整 Agent 的主要決策正確率為 92.1%,但重疊矛盾的升級率只有 25%(95% 信賴區間 10–40%)。補充表 S10–S12列出了逐類與逐次結果。這個區間以病人為單位做 10,000 次 bootstrap;20 次嘗試來自 10 個案例各重複兩次,不能當成 20 個互相獨立的病人。

92.1% 也不是把 188 次嘗試的正確數直接相除。作者先平均同一病人同類任務的重複結果,再平均該病人有資格納入的任務類別,最後讓 30 個病人等權。這種主要權重下,重疊矛盾只占 9.2%;所有系統都通過的缺結構與可行控制兩類,合計約占六成。若改成四類等權,同一完整 Agent 的總分會成為 80.4%。模型沒有重新跑,只是評分者換了權重。

所以真正值得追問的,不是九成算不算高,而是高分由哪些決策組成。作者檢查那 15 次漏掉重疊矛盾的提交,發現完整 Agent 都用完了三次優化,列出沒有達成的硬性目標,卻沒有把要求辨識為不可行。系統能描述結果不足,仍未完成該做的停止判斷。

提交是正確動作,不代表提交的計畫已達標

OpenGray 的主要評分還有一個刻意保留的界線:在可行控制題上,只要明確提交就能得到決策分,不要求該份計畫滿足全部硬性目標。因為這一項先問的是「該提交還是該升級」,劑量達成則另行記錄。

結果是,四種系統在 Terra/規則式比較中都提交了每個可行控制;但每個規則式系統僅 19/25 份、每個語言系統僅 38/50 份計畫滿足所有硬性目標,都是 76%。其餘 24% 雖然未達標,也列出了未達成項目,依主要規則仍得到正確決策分。表 S7、S13 與 S14把動作與劑量結果分開,並顯示若要求控制題全部達標才給分,完整 Agent 的主要分數會從 92.1% 降到 85.7%。

這不是用另一個分數取代原分數就能解決的事。它提醒我們,驗收表至少需要同時看「選對動作」與「產物滿足條件」。如果只留下其中一項,另一項失敗就可能消失在漂亮總分裡。

可行性本身也有邊界。這批計畫的主要優化沒有施加機器限制;作者在補充表 S19 檢查主要 Terra/規則式保留評估的 540 份已提交計畫,沒有任何一份達到 OpenKBP-Opt 參考計畫使用的 SPG ≤ 65 fluence 複雜度條件。這個數量不包含 Ministral 的全部提交。SPG 是相鄰小射束強度變化的彙總指標,這個門檻也不是完整的臨床可交付性測試。研究限制與補充 S9.4因此要求,加入可交付性限制後必須重新驗證可行控制。這裡的「存在解」,只成立於研究指定的劑量模型。

能指出失敗,還要有可執行的停止動作

論文另審閱一個機構的 SAGE 規劃紀錄。這不是上述已知正解基準的另一組測試,而是 31 個病人的 39 次規劃 run,其中包括重啟的 refinement runs。四次 run 到達十次嘗試上限,仍有同一個目標在每次新劑量計算後失敗。

在整個紀錄審閱的 88 則回覆中,模型指出的失敗目標都符合它看到的數值;這不是說四次未完成 run 各有 88 則回覆。問題是,當時指令沒有提供停止或升級覆核的動作。另有一條「四次仍失敗就加註旗標」規則,卻沒有把當前嘗試編號交給模型,只給它最多三次近期紀錄。論文記下模型以眼前的三次紀錄計數,於是延後了旗標。主文 §3.3 與補充 S7呈現了這個狀態缺口。

這和基準中的錯誤必須分開看:OpenGray 的完整 Agent 原本有升級工具,只是常未選它;SAGE 的流程則連停止/升級動作都沒有提供。前者需要檢驗辨識與決策,後者還需要補足動作空間和規則依賴的狀態。單加一句「請謹慎」無法代替這些接線。

這份紀錄也沒有已驗證的可行性正解,所以不能推論四次 run 都是在追逐不可能要求。它能支持的結論是:正確描述當前失敗,不會自動產生適當的退出行為。

把停止做成可檢查的系統狀態

我認為 OpenGray 最值得帶回一般 Agent 設計的,是一個驗收方法:把「辨識問題」「選擇動作」「工具確實執行」「產物達成條件」拆開記錄。這樣才看得出,失敗來自沒看懂數字、沒有證明矛盾、選錯動作,還是動作根本沒有傳到外部系統。

在這個基礎上,已證明要求不相容、預算用完仍未解決,以及執行工具失敗,也應有不同狀態與原因。這是從研究得到的工程判斷,論文沒有驗證這套改造能把失敗率降低多少;尤其不能把「優化幾次還沒成功」直接寫成「已證明不可行」。需要覆核的理由可以是不確定性,無須冒稱數學結論。

作者的 Zenodo 封存提供研究軟體與保存的結果分析資料,但 README 明列原評估 prompts、凍結的評估原始碼快照、完整 trajectories 與原始 fluence 不在包內,臨床紀錄也不公開。公開結果能讓人更仔細檢查統計口徑,不能因此宣稱原實驗已可完整重現。

本文聚焦的保留評估涵蓋特定頭頸資料、兩種構造矛盾,以及 Terra 與 Ministral 兩個語言模型,沒有測量臨床安全率。對工程團隊而言,下一個實際問題是:你現在的評測裡,有沒有一組「必須停止」和一組「其實做得到、不該亂停」的任務?在一般 Agent 控制迴圈之外,把這兩組的動作與產物分開驗收,才有機會知道你的高分是否包含了該有的停止能力。