臨床 AI 評測，測到的是醫師考題還是日常工作？

臨床語言模型即使答得出醫學考題，也不代表已驗證它能處理臨床人員每天交給助手的工作。NYU Langone Health 與合作者在 2026 年 10 月 8 日提交的 arXiv 研究，比較一個學術醫療體系八個月的實際助手請求與公開評測：考題涵蓋的工作，和真實工作是同一批嗎？

最明顯的落差是：臨床人員的第一輪請求中，文件與行政占 36.2%、診斷占 3.7%；58 個公開 benchmark 與實際任務分布的重疊度中位數卻僅 31%。研究以 127,833 筆對話的第一個請求為單位，涵蓋 6,342 位使用者、35 個專科；知識檢索另占 28.9%。這些數字描述任務分布，不是助手準確率。

這些數字揭示的是評測代表性，而非實際傷害或模型答題品質；一個醫療體系的工作比例也不能直接當成其他醫院的基準。評估者應先建立自身的使用情境輪廓，再決定題庫組成。

研究把實際工作和 benchmark 放在同一套分類裡

研究者以 RCQ-Map 描述請求的任務、意圖、脈絡是否充分、潛在風險與適合的回應方式；再建立 Clinical AI Benchmark Atlas（CABA），從公開評測與模型報告選出 58 個 benchmark，每個最多抽 200 題，以同一標註指南及欄位格式（schema）比較兩種任務組成。

分析單位是每段對話的第一個臨床人員請求，不包含後續補充病史、助手追問或採納的答案。兩組資料由同一個語言模型依限定欄位標註，再以 100 筆隨機請求及七位臨床人員的標註抽驗；23 個欄位的模型與臨床參考整體符合度為 84.6%，臨床人員之間為 83.0%。但風險、脈絡與安全回應的判定較不一致，所以不能把每筆標註直接當成臨床真值。

作者逐一計算 58 個 benchmark 與實際工作分布的重疊度，再對這 58 個值取中位數，得到 31%；十個任務類別均分的假想分布則是 55%。「文件／行政占比中位數為 0%」是各 benchmark 文件類題目比例的中位數，不代表全部評測都沒有文件題；實際請求裡這類工作占 36.2%。

研究因此沒有主張所有考試型 benchmark 都無用。它們仍能衡量其設計目標；問題在於，如果用這類成績推論助手是否適合處理完整臨床工作，就把局部能力當成了整體工作能力。58 個 benchmark 是作者從公開評測套件和模型報告中選出的英文、文字型集合，並非完整或隨機抽樣的 benchmark 清單；它也未必涵蓋各機構的電子病歷系統（EHR）、表單、政策或護理流程。

較貼近日常諮詢的 benchmark 也不一定更具代表性。研究發現，臨床諮詢型 benchmark 的高風險題目比例偏高：Real-POCQi、HealthBench Professional 和 NOHARM 分別有 34.5%、42.7% 與 54.5% 被標為高或嚴重潛在風險，而實際請求為 13.2%。它們有助測試高風險情境，但不能直接按原比例拼成日常部署的測試集。HealthBench Professional 在五個深入比較的 benchmark 中涵蓋面最廣，仍不代表任何單一工具已代表完整臨床工作。

這個區別會影響模型排名的解讀：刻意挑選困難病例，能讓 benchmark 更有區辨力；但若任務和風險分布偏離部署現場，分數回答的是「模型面對這一組挑戰題時表現如何」，不是「它在此院內工作流能減少多少錯誤或工時」。代表性與難度是兩個不同軸線，評測報告應分開說明。

工作類型不同，所需的評估行為也不同

文件與知識檢索占比高，並不等於每一項都適合讓模型直接作答。研究標註中有 36.1% 的請求無法在原樣下獲得良好回答：部分缺少病人病史、檢驗結果、院內處方集或在地流程，另一些則需要最新外部證據。對這類問題，安全的助手可能需要先問清楚脈絡，或根據可追溯的權威資料回答；只評分最後文字是否「答對」，很難辨別這些行為。

研究也指出，專業角色的請求組成並不完全相同。住院醫師、APP、護理師與主治醫師在檢索、臨床推理和非臨床任務上的比例有差異。若 benchmark 只採用單一角色或單一類問題，整體分數可能會掩蓋不同工作者面對的需求差異。

這不是微小的樣本分層問題：護理師和 APP 約占這組對話的一半。住院醫師的知識檢索與臨床推理比例較高，分別為 34.9% 和 19.7%；護理師則有 26.8% 的請求屬於非臨床或第一輪沒有明確請求，主治醫師相應比例為 26.2%。此外，專科人員的臨床問題有 43.9% 涉及由其他臨床科別管理的狀況。實際使用者並不只在自己的專科範圍內提問，因此只用醫師考題或單一專科題庫評估，可能遺漏跨職務和跨科脈絡。

安全行為的差異也比「答對／答錯」更具體。作者把最安全回應分類為直接回答、檢索權威來源後回答、先向臨床人員釐清，或轉交／暫不回答。整體請求中，61.2% 適合直接回答，26.8% 最適合先釐清，12.0% 需要檢索來源；但高或嚴重潛在風險請求有 84.5% 不應只給直接答案。這些比例是作者對請求內容的標註判斷，不是部署助手實際採取行為的紀錄。它們仍指出評測執行框架（harness）可以測什麼：是否辨認資料缺口、何時查院內來源，以及何時先問而不是猜。

工程上的啟示是，評估集除了答案正確性，還應依部署的工作組成納入文件生成、知識檢索、病人或院內脈絡缺漏、澄清、來源檢索與拒答／轉介等情境。這不是要讓每個 benchmark 變成一張總括臨床能力的成績單，而是讓每項分數都說清楚其測量範圍。

把這項研究轉成可用的評測流程

醫療機構若要把這個觀點用在內部評估，可以先建立一個受治理的工作輪廓，而不是直接複製論文的比例：

1. 定義要代表的使用場景。 說明產品、使用者角色、部門、涵蓋的工作流程與觀察期間。單一院區或特定助手的使用量，不能代替另一家機構的工作分布。
2. 在合規環境整理請求類別。 先釐清資料權限與去識別處理；用標註或抽樣確認工作分類，再分角色檢查差異。不要把可識別的病人請求直接送到未經機構核准的模型或服務。
3. 把代表性和能力分開報告。 同時展示各工作類別的占比與 benchmark 覆蓋情形，再分別測答案品質、脈絡辨識、必要時澄清、來源依據和安全升級。Benchmark 覆蓋率本身不能證明能力。
4. 明示資料與標註限制。 說明請求是否只取第一輪、哪些類別由模型或人工標註、評分者一致性，以及哪些結果只反映可能風險而非真實事件。

內部評測可用兩張互補報表，並採用一項共通的風險抽樣原則：

• 工作代表性：按職務、科別與任務呈現抽樣比例，標出目前 benchmark 缺少的工作類別，並記錄樣本期間和無法分類比例。不要只報一個總體重疊分數。
• 行為能力：針對每類任務，另外測答案品質、必要脈絡辨識、引用來源支持度、追問是否有效、資料不足時的處理，以及與正式工作流程的銜接。把安全路由與內容正確性分開計分。 兩張報表共用的抽樣原則：可以提高少見高風險題目的比例，但須另報依真實工作分布加權的結果；不能把挑戰題比例誤當日常使用率。

解說示例（非研究樣本）：某院助手收到「整理轉診摘要」與「缺少過敏史，能否直接建議用藥」兩類問題。代表性報表先統計當地工作比例；能力報表再測試摘要品質，以及第二類問題是否先追問或檢索授權來源。若高風險題加抽，需單獨報告，不混成實際使用率。

這些是從研究發現推導出的評估設計建議，不是論文已驗證可降低傷害或工時的介入效果。要證明產品價值，仍需前瞻性部署研究，追蹤追問、來源檢索、人工覆核、修正率和臨床工作流程結果。

本文論文中的原始臨床請求文字不公開，可能含有受保護健康資訊。研究者可在機構核准與資料使用協議下，向作者申請取得不含請求文字的標籤資料；CABA 則公開 benchmark 的標籤與項目識別資訊，並依原始 benchmark 授權決定是否轉載題目。RCQ-Map 的指南、schema 與程式，以及 CABA 的建立和比較程式均有公開版本可供檢視。

若要延伸實作，可以從 企業 RAG 指南理解如何把院內權威資料接入回答，再參考企業 RAG 評測 Harness拆分檢索、證據支持與回答品質。若評估範圍包含多步驟助手或工具使用，可接著讀 AI Agent 實戰指南。

來源

• Vishwanath 等人，2026，Clinician use of language models diverges from how the models are evaluated，arXiv v1，2026-10-08。研究結果、方法、資料可用性與限制均以該版本論文為準。
• RCQ-Map 原始碼、標註指南與 schema；Zenodo 封存版本 1.0.0。
• Clinical AI Benchmark Atlas（CABA）原始碼與標籤；Zenodo 封存版本 1.0.0。