AI 前沿研究與工程實作
追蹤新技術、拆解系統架構,也公開真正動手做過的評測與實作。
文章封存|第 2 頁
- ParanoiaEval:當 Agent 把已解除的風險再處理一次
ParanoiaEval 用成對任務測量 coding agent 是否依證據決定避開、轉交、緩解或接受風險;本文拆解它的結果、限制與可落地的評測方法。
- SWE-CC:測試通過,Agent 仍可能違反 Repo 規則
SWE-CC 將 12 個開源專案的 823 條貢獻政策轉成可執行檢查,揭示只看測試與 resolve rate 會漏掉 Agent 的流程違規。
- AI Agent 查公開資料,為何會走到政府網站探測?
從美國教育部與加拿大圖書館暨檔案館的封存請求,拆解 Agent 如何把取資料變成高頻流量與攻擊形狀探測,以及可測試的停止控制。
- 別只叫 LLM 回答:把輸出做成真正幫助理解的介面
從 Karpathy 對文字、圖解、互動頁面與解說影片的觀察出發,建立一套依理解任務選格式、再按格式驗收 AI 產物的方法。
- Claude Code Advisor:不是多一個 Agent,而是在關鍵點請第二個模型看一眼
拆解 Claude Code Advisor 的執行者與顧問分工、何時會呼叫、完整對話傳送、成本與實驗限制,並整理一套導入前的評估方法。
- Codex 的第二意見:從 `/review`、Subagents 到 Auto-review
Codex 沒有把所有第二意見塞進同一個 Advisor 開關,而是用可指定模型的 `/review`、唯讀 reviewer subagent、權限邊界 Auto-review 與 Agents SDK 顧問工具,分別處理不同風險。
- Claude-shaped science:Agent 算得快,人仍要選對問題
Matthew Schwartz 分享如何用 BootLoops 把 Agent 接進可重算的量化研究;真正決定結果是否成為科學進展的,仍是人類選題、專家校準與驗證。
- 機器人能做,不等於值得自動化:Anthropic 的工作曝光與成本落差
Anthropic 估計機器人可在某些情境執行 74% 的美國實體任務,但目前僅 0.3% 的工作具成本競爭力;本文拆解分級方法、成本假設與企業評估方式。
- Holo4:一個 Agent 跨 GUI、程式與工具,授權卻不相同
拆解 H Company Holo4 的跨介面 Agent 與長流程 harness,並核對 benchmark、公開軌跡資料和兩個 checkpoint 的授權差異。
- Kumo Tabular:用合成表格預訓練,讓新任務從範例開始
NVIDIA Kumo Tabular 把表格預測改成 in-context learning:模型先在合成表格上預訓練,再從標記列預測新資料;本文拆解方法、榜單主張與企業驗證條件。
- NVIDIA Open Agent Safety Platform:把可執行控制和外部觀測分開驗證
拆解 OpenShell 可檢查的 Agent runtime 控制,以及 NVIDIA 所提出的 BlueField-4/Sentry 參考設計,釐清兩層各自能做什麼、仍缺哪些成效證據。
- Target 零售商品搜尋:讓語意召回服從精確度與線上實驗
拆解 Target 如何以詞彙與向量雙路檢索、屬性精確度控制和加權交錯,改善商品搜尋,並檢視其離線與線上證據的邊界。
- AI Agent 風險如何變成 Runtime Policy:ASSERT 評估與 ACS 執行閘門
拆解 Microsoft run-assert-eval 如何串接 Clarity 風險探索、ASSERT 行為測試與 ACS runtime policy,並以 unsafe behavior 和 over-refusal 兩組指標檢視治理效果。
- Docker Sandbox Kit:把 Agent 權限請求和軟體一起版本化
拆解 Docker Sandbox Kit v3 如何把 Agent 的網路、憑證與 mixin 宣告放進 OCI artifact,並說明 descriptor 仍是 request、enforcement 仍取決於 runtime。
- Project Swap:Agent 會交易,不代表懂得委託人的偏好
Anthropic 的低風險員工書籍交換研究顯示,偏好估計比議價機制更限制市場結果;部署代理人之前,先測它是否理解這個人。
- Google AlloyDB 如何隔離 Agent 突發查詢:微型 VM、MCP 與專用儲存分段
拆解 AlloyDB for agents 的唯讀 agent nodes、專用 Colossus segments 與彈性計算池,並檢視隔離、資料新鮮度、冷啟動、成本和交易邊界。
- Turnstile Spin:讓 Agent 安裝 CAPTCHA,也把驗證留在真正的安全邊界
拆解 Cloudflare Turnstile Spin 如何在人工核准下安裝、修復或遷移 widget,並以 Siteverify、憑證隔離與可重播驗收形成後端安全閉環。
- Benchling 如何用 AgentCore、STS 與 DNS Firewall 隔離多租戶程式執行
拆解 Benchling 在獨立 AWS 帳戶執行 AI 產生程式碼的分層設計:每工作臨時憑證、S3 endpoint policy、DNS allow-list 與持續外洩測試。
歡迎演講、企業內部技術分享與架構交流;可以先查看我適合分享的主題與公開工程成果。
演講與聯絡