← 部落格

工程筆記

AI Cosmos:AI 幫忙做對,和自己學會是同一件事嗎?

原創水彩概念圖:花花在暖色書桌前比對參考書與未完成拼圖,思考如何理解並解決新問題。

想像一個程式練習情境:你在 AI 協助下讓測試全部通過,隔一週遇到換了題目包裝的同類問題,卻不知道從哪裡寫起。前一次完成的,到底是你的學習,還是你和 AI 共同交出的一份產物?

AI Cosmos關心這個落差。作者提出一套情境式學習架構,再以法律推理與競賽程式兩項研究檢查學習表現。值得讀的地方,是它嘗試把「交出有分數的答案」和「展現目標技能」分開;但現有證據的強度並不一致,不能合併成一句「Agent 教學已經證明更有效」。

讓學生留在解題過程裡

一般問答介面很容易以產物交付為終點:問一個問題,拿到解釋或程式碼,這輪互動就結束了。AI Cosmos 改以一個學習目標配置場景:哪些角色參與、能查哪些知識、需要什麼工作台,以及人和 Agent 分別可以做什麼。

程式學習場景中的工作台尤其具體。學習者和 Agent 面對同一份可修改的狀態,可以寫程式、執行、讀取錯誤,再修改;對話也能根據執行結果往下走。這讓「我理解了」多一個可以碰壁的地方。說得出概念,還要看實作是否維持了演算法的不變量、處理了邊界,以及能不能解釋修正理由。論文的架構說明把場景配置、互動排程與工作台操作接在一起。

作者也設計了 asset–memory loop,保存成果、過程紀錄、失敗與修正,以及它們的來源和依賴關係,供之後場景取用。不過,這是架構的一部分;兩項研究主要檢查的是場景式互動,沒有分離驗證整套記憶回用機制的長期教育效果。保存更多練習紀錄,有助追查過程,並不會自行變成「學得更牢」的證據。

法律研究支持即時增益,還沒確立長期優勢

作者將法律研究描述為預先註冊的三組隨機試驗,使用相同底層 LLM,比較一般問答、教師角色提示,以及 AI Cosmos。最初隨機分派 131 人,依學習紀錄的最低參與標準排除後,分析 111 人,每組 37 人。這是排除後樣本的結果,不能當成全部分派者的分析。

參與者完成前測、學習和難度匹配的新題後測;法律總分中,客觀題占 80%,開放作答占 20%。作者報告,AI Cosmos 相較一般 LLM 的即時原始增益多 7.0 個百分點,p=0.018;Cohen’s d=0.56,其 95% bootstrap 信賴區間為 [0.10, 1.05]。這個區間描述的是標準化效果量,不是多拿幾分的區間。控制前測的模型估計差異為 4.47 分,p=0.018。研究方法與結果提供了兩種估計的口徑。

但比較對象一換,結論就要收窄:AI Cosmos 對教師式 LLM 的增益差異沒有達到顯著;三組原始增益的整體檢定也是 p=0.057。這不抹除預定的 AI Cosmos 對一般 LLM 比較,卻不能被改寫成三種架構已排出明確名次。開放作答的組間差異也未達顯著,不能概括為法律論證能力全面提升。

約四週後,作者從每組隨機抽取 18 人再測。AI Cosmos 的平均保留增益仍最高,但三組差異 p=0.62,遺忘量的差異也未達顯著。這項追蹤提供的是尚不確定的長期線索,並非「一個月後仍證實有效」。

68% 對 45%,分母是程式提交,不是學生

程式研究比較同樣三種互動,但 AI Cosmos 和教師式 LLM 都受到「不提供完整解答」限制,一般 LLM 沒有這項限制。因此,兩個有節制提示的條件較能比較工作台所增加的支持;和一般 LLM 的差異,同時包含了回答限制不同。

作者招募 140 人,其中 100 人完成診斷前測,最後 54 人完成全部多次訓練與後測,納入分析:AI Cosmos 19 人、教師式 LLM 18 人、一般 LLM 17 人。原文另說,兩套教材都已熟練者不進入訓練。因此,不能把 140 到 54 的全部差額都叫作中途流失;但缺少各組完整流向與未完成原因,也限制了對全體招募者的推論。程式研究方法明列了這些樣本範圍。

練習分成學習、自我檢查、獨立作答三階段;一週後以兩道未見過、需要使用已訓練演算法變形或組合的新題後測。連續後測分數雖以 AI Cosmos 最高,三組整體差異 p=0.20,調整前測與教材路線後 p=0.16,都未達研究設定的 0.05 門檻。

作者因此另請兩位出題專家在不知道組別的情況下評閱程式碼。這份評閱不是泛稱「真正理解」,而是有明確定義:程式是否大致完整、正確地實作該題的目標演算法。五級量尺中的 G4 或 G5 算達標;G4 還可有輕微、非根本性的缺陷。若靠非目標方法拿到部分測試分,並不因此取得目標演算法掌握的認定。附錄 A.3列出了分級與錯誤碼。

指標分母與評估內容AI Cosmos/一般 LLM
取得正分後測提交中,OJ 自動評測分數大於零82%/85%
目標演算法掌握全部後測提交中,專家評為 G4 以上55%/38%
正分提交中的掌握率只看取得正分的提交,再問有多少達 G468%/45%

這些都是提交層級的比例。每位學生面對兩道後測題,不能把最後一列讀成「68% 的學生學會了」。AI Cosmos 對一般 LLM 的 68%/45% 比較 p=0.12,未達顯著;對教師式 LLM 的 68%/32% 比較 p=0.009。作者另以每人掌握幾題分析,AI Cosmos 對教師式 LLM 的差異 p=0.024。比較對象、分母和分析單位都需要跟著數字走。程式研究結果保留了這些區分。

掌握了目標演算法,也不等於證明廣泛遷移

這份盲評最有用的地方,是把評量目標講清楚。若課程要教的是線段樹,一份碰巧在測試資料拿到分、卻沒有實作線段樹的解答,不一定完成了這個教學目標。但這也表示,這個 mastery 指標衡量的是「指定目標演算法的實作」,不是一個人整體的程式能力,更不是排除其他有效解法的通用標準。

新題使用已訓練的演算法變形與組合,支持的是接近所學內容的泛化測試。它沒有測到換領域、換工具或更長時間後的遠遷移。程式樣本也很小,以男性和大一學生為主,提交層級分析是探索性分析,沒有做多重比較校正。

還有兩個不能替原文補上的條件。作者稱兩項研究均預先註冊,但這個版本沒有提供可核對的登記號或註冊連結;文中也未具名底層模型。方法雖將部分作答稱為「獨立」、後測稱為競賽式,卻沒有完整交代各測驗禁用 AI 的操作與監督規則。因此,本文不把這些結果寫成已充分核實的「完全無 AI 測驗」證據。這些資訊的缺口限制的是結論強度,不應靠產品展示補齊。

學習工具要留下人的能力證據

我認為這項工作最值得帶走的,是把評估單位從「AI 交付了什麼」移回「人做了哪些判斷」。工作台讓錯誤、執行與修正變得可觀察;但觀察到一段成功流程,仍要辨認哪些步驟由學習者完成,哪些由 Agent 代做。論文自己也說,記憶中的正負經驗標籤反映任務進展,不代表教育成效。

這與 OpenGray 將動作選擇和產物達標分開驗收有相通的評估思路:先確定分數回答哪個問題,再決定要不要把它當成能力證據。這裡合理的下一步,是為想教的技能設計明確的獨立評量,記錄協助範圍,並在後續新情境追蹤;不能只增加 Agent 數量或保存更多對話,就宣稱學習已改善。

作者產品頁展示互動影片、筆記與 Code Lab 等形式;本文只閱讀公開說明,沒有操作或評測產品。這些展示說明可以怎麼安排練習,不替代成效驗證。AI Cosmos 提供了值得繼續測試的設計,以及一項較明確的法律即時比較和若干程式掌握訊號;它還沒有讓「這次在 AI 幫忙下做對」與「之後自己會做」變成同一件事。