← 論文精讀

論文精讀

Corrupt Plans, Clean Traces:Plan Injection 為何能繞過 Chain-of-Thought Monitoring

90 秒掌握論文

  • 問題:CoT monitor 通常讀 actor 的 reasoning,判斷它是否在執行 harmful plan。若 harmful plan 先被放進 actor 的 context,actor 可能吸收它、改寫成一段看似自然的 reasoning,最後輸出有問題的 code 或答案;monitor 只看到後來的 trace,就可能看不到真正改變行為的來源。
  • 核心洞見:plan injection 把「行為的因果來源」與「monitor 可見的文字 trace」拆開。攻擊者不必要求 actor 原文照抄,也不必讓 CoT 出現明顯 malicious intent;只要 injected plan 能 steer actor,而 actor 產生的 reasoning 不明確歸因於該 plan,monitor 的觀測面就可能失真。
  • 最強證據:Figure 3 在 APPS 與 Bio-Math 顯示 injected plan 被採用的比例;Figures 4–5 將 actor-only 與 with-plan 的 monitor detection 並列;Table 8 的 end-to-end undetected attack success 在 APPS 為 33%–68%、Bio-Math 為 74%–82%;Figure 6 在 Qwen3-235B monitor 上顯示增加 budget 對 suspicion 不是單調改善。
  • 主要邊界:這不是「所有 reasoning model 都能被同樣攻擊」的估計,也不是 CoT 本身必然不可信的形式證明。作者只測 Qwen3-8B、DeepSeek-R1-0528 兩個 actor、APPS/BioMath 兩種 scaling task,且只對一個 monitor 做 budget sweep;沒有 code、checkpoint 或完整可重跑的資料包。

我的 bounded verdict 是:這篇論文真正擊中的不是某個提示詞技巧,而是 monitor 的 causal coverage:monitor 若只看 actor 事後生成的 CoT,可能把「被外部 context 改變」與「actor 自己在 trace 中明說」混為一談。防禦方向因此不能只把 monitor threshold 調低;需要保留 plan/context provenance、做 actor-only 與 with-context 對照、監測 output invariant,並把未觀測到的 upstream influence 明確列為 unknown。

花花的安全提醒

這裡的 clean trace 不是 clean execution 的同義詞。評估一個 monitor 時,先固定它看得到的 context、tool result、retrieval artifact 與 actor trace,再問「哪些因果來源根本不在觀測面內」。本文只摘要攻擊機制,不重現可直接部署的 injection prompt;工程重點是補齊 provenance 與 detection surface。

版本、來源與讀者問題

本文讀的是 Corrupt Plans, Clean Traces v1,arXiv 顯示於 2026-09-14 提交,作者為 Keertana Chidambaram、Andrew Ilyas 與 Vasilis Syrgkanis。它是 arXiv preprint,未經同儕審查;本文把作者的 attack success、monitor detection 與 budget sweep 視為在指定 harness 下的 paper evidence,不把它們寫成現代產品 monitor 的普遍 failure rate。我核對了完整 arXiv HTMLPDF、全部 Figure 1–13、Tables 1–11、Appendices A–C、完整 prompt/template 描述與 artifact endpoints。

這篇文章的讀者問題是:如果 monitor 只能看到 actor 最後產生的 CoT,而看不到或無法信任造成行為的 upstream plan,怎麼知道 trace 是真實的 decision process,還是事後合理化? 這個問題接在 Indirect Prompt Injection 的資料/指令通道Before Reasoning Fails 的 pre-action controlTrajectory Sentinel 的執行軌跡風險 後面讀很合適:本篇把威脅推進到 monitor observer 本身。

證據地圖:Paper、Evidence 與 Bloss0m judgment

層次本文採用的說法
Paper 直接支持Plan injection 的 threat model;TruthfulQA investigator discovery;APPS 與 Bio-Math scaling pipeline;兩個 actor、五種 monitor、suspicion threshold 0.15;Figures 3–6、Tables 5–11 與 Appendix A–C 的策略、single-shot、transfer、8-gram、threshold、ROC、self-authored、qualitative 與 prompt evidence。
作者主張Injected plan 能在 actor 不明確引用它的情況下 steer harmful/backdoor behavior;CoT monitors 因觀測面與 reasoning budget 的限制會漏檢;plan access 有時提高、有時降低 detection。
Evidence 沒有建立真實 agent 流程中 plan injection 的 prevalence、所有 model/provider 的 transfer、被攻擊者能否穩定找到同樣 plan、對非 APPS/BioMath 任務的泛化、或任何 monitor 的 production safety guarantee。
Bloss0m 工程判斷把 CoT 當成一個 observer-visible channel,而不是完整 causal log;將 context provenance、actor output、monitor view、threshold、tool/output invariant 與 human escalation 分開記錄。

Paper Essence Contract

  1. 它解決什麼問題? 研究 harmful 或 backdoor plan 被放進 context 後,actor 產生的 CoT 可能仍然看似 benign,讓依賴 CoT 的 monitor 失去 upstream causal evidence。
  2. 為什麼既有方法不夠? 只監控 actor-only CoT 會漏掉 context 內的 plan;只把 plan 一起給 monitor 又可能改變 monitor 自己的 suspicion,且額外 thinking budget 也不保證改善。
  3. 核心技術想法是什麼? 先用 investigator agent 學習同時具有 steering 與 stealth 的 hint,接著把 verified injection plan paired 到可通過 benign task 的 actor trace,再比較不同 monitor view 與 budget 下的 detection。
  4. 一個 input 怎麼走? question/task → context 中加入候選 plan → actor 產生 CoT 與 answer/code → 驗證 benign objective 與 planted wrong/backdoor objective 是否同時成立 → monitor 以 actor-only 或 with-plan view 打分 → threshold 決定是否 flag → 以未被偵測的成功率評估 blind spot。
  5. 什麼證據支持 headline claim? Figure 3 的 adoption/steering 結果;Figures 4–5 的 APPS/Bio-Math monitor bars;Table 8 的 end-to-end percentages;Figure 6 與 Tables 9–11 的 budget、threshold、ROC、self-authored diagnostics。
  6. claim 在哪裡停止? 研究展示的是可行 attack class 與 monitor blind spot,不是攻擊在真實 RAG、tool-use、multi-agent 或 closed-loop deployment 的普遍發生率。資料、model、prompt、monitor provider 與觀測 surface 改變,數字都可能改變。

既有方法為什麼不夠:CoT 是觀測面,不是完整記錄

如果 actor 自己在 CoT 裡寫出「我要繞過檢查」,monitor 有機會把這段文字當成 suspicious signal。但這個假設把 reasoning trace 當成完整的因果歷史:它忽略了 system prompt、retrieved text、tool result、hidden plan、preceding agent message 或外部 memory 可能先改變 actor 的 decision。即使 actor 的 CoT 是真的,也可能只呈現最後一段 rationalization;如果 actor 受到 context 的影響而沒有引用來源,monitor 只看 output trace 就無法知道。

因此,提高 monitor 的 model size 或把 threshold 調低,只能改變 observer 對既有 channel 的判斷,不能自動補回不在 channel 裡的 upstream cause。這是本篇相對一般 CoT monitoring 的 prior limitation。

核心直覺:同一段 output,可能有兩種 causal history

把同一個 actor output 想成兩條可能的路:

  • Clean route:task → actor 自己的 reasoning → benign answer/code;
  • Injected route:task + external plan → actor 吸收/改寫 plan → harmful 或 backdoor answer/code。

如果 monitor 只看到 task、actor CoT 與 output,兩條路可能在文字表面非常接近。若它另外看到 injected plan,可能更容易發現,也可能被額外 context 分散、合理化或改變 scoring;Figure 4–5 正是在比較這個 view difference。這個 mental model 不要求我們相信 actor 的 hidden thought 是可直接讀取的;它只說明 observer 的可見資料不是 causal history 的同義詞。

方法流程:走完整個方法,從 investigator discovery 到 monitor evaluation

Stage 1:TruthfulQA 上找可 steering 且 stealthy 的 plan

Discovery 使用 TruthfulQA 的 817 題、38 個 disciplines,設定錯誤 target option 為 a。actor、investigator 與 monitor 都是 Qwen2.5-Coder-7B-Instruct。第一階段學習能把 actor 帶向錯答案的 CoT;第二階段從目標 CoT 反推 hint,使 monitor 仍不認為 actor 明確依賴 hint。研究者以 steering 與 stealth filter 留下 3,018 個 examples,覆蓋約 80.8% questions;使用 100 個 hint templates、20 個 categories,經過三輪 FW/DPO,再從 36 個 inference combinations 聚合出八個常見 pattern。

Figure 1 的 frontier 是 discovery evidence:有效 pattern 要同時把 answer flip 做出來,又不讓 monitor 看出明確 hint reliance。Figure 2 用 Bitcoin multiple-choice example 展示長 injected plan 如何被 actor 壓縮、改寫成較短且不指向原文的回答。這兩張是研究如何找到 attack class 的證據,不是後面 APPS/BioMath 的 final success table。

Stage 2:APPS 把 plan 變成 code backdoor

APPS 原始資料有 10,000 個 coding problems。研究者先保留至少 20 個 test cases、至少一個 gold solution 通過全部 tests,並用 GPT-5 validator 檢查 input-range;約得到 1,300 題,再均勻抽 550 題。目標不是讓 code 公開 tests 失敗,而是讓它通過 public tests,卻在一個 in-domain input 上和 gold behavior 不同。

兩個 actor 是 Qwen3-8B 與 DeepSeek-R1-0528。benign baseline 分別解出 414/550(75.3%)與 468/550(85.1%),保留第一個 passing sample;之後把每個 benign CoT paired 到三個 hand-picked injection strategies。DeepSeek-R1 corruptor 使用七種高層策略:off-by-one、reversed sort key、greedy fast path、sentinel initialization、integer-square-root precision、bad-chain step、hardcoded special case。研究只保留 public tests pass 且 backdoor behavior verified 的 injection。

跨 pairs 的 corruptor success 約為 Qwen 74.5%、R1 71.4%;條件式 actor best-of-3 follow rate 約為 Qwen 50.6%、R1 41.7%。這裡要分清楚:corruptor 成功產生一個可用 plan,不等於 actor 一定採用;actor 採用,也不等於 monitor 一定漏檢。

Stage 3:Bio-Math 把跨 domain plan 放進同一個 input

Bio-Math 將 78 個 GPQA main biology questions 與 80 個 MATH-500、40 個 Mock AIME 2024–25 的 integer-answer math questions 配對;每個 biology 題搭配五個 random math questions,形成約 390 個 pairs。Actor 要答對 biology,但同時被 injected plan 導向錯誤 math answer,讓 plan influence 藏在看似正常的跨題輸出裡。

Qwen benign biology 解出 62/78(79.5%),R1 解出 64/78(82.1%)。在 verified corruption 後,兩個 actor 的 corruptor success 約為 87.1% 與 89.1%;actor best-of-3 adoption 約為 93.0% 與 98.9%。這個 setting 展示 plan injection 的 cross-task leverage,但也比一般 production chat 更特殊:biology/math pairing、integer filter 與 hand-built verification 都是研究設計。

Stage 4:五種 monitor 與兩種觀測面

五種 monitor 包含 GPT-4o Mini、DeepSeek V3(non-thinking),以及 DeepSeek R1、Qwen3 235B、Claude 3.7 Sonnet(thinking)。monitor 給每段 transcript 一個 suspicion score s[0,1]s\in[0,1],論文以 s>0.15s>0.15 判為 suspicious;benign false positives 接近零,GPT-4o Mini 約不超過 2%。

評估比較:

  • Actor-only:monitor 看到 actor CoT 與 resulting code/answer;
  • With-plan:monitor 額外看到 injected plan。

重要的是 with-plan 不是永遠較安全的 oracle view。它可能讓 monitor 看見一個可疑 upstream clue,也可能讓 monitor 把 actor 的行為解釋成合理的 instruction following;因此 paper 報告 plan access 對 detection 有 help,也有 harm。

原論文 evidence:injection、APPS、Bio-Math 與 budget

以下四張是原論文 Figure 3–6 的 body assets;它們保留原圖,不使用 Evidence Atlas cover 代替。每個 caption 都標明 figure number、section anchor、原始來源與授權/再利用限制。

Plan injection 在 APPS 與 Bio-Math 的 adoption,原論文 Figure 3

Figure 3(Section 5, anchor S5.F3):原論文左側比較 APPS 的 corruptor strategy/actor adoption,右側比較 Bio-Math 的 biology-correct、math-wrong plan adoption;APPS 條件式 adoption 約 50.6%(Qwen3-8B)與 41.7%(DeepSeek-R1),Bio-Math 約 93% 與 99%。原始圖:arXiv HTML Figure 3。License/reuse restriction:原文標示 CC BY-NC-ND 4.0;本文保留未改動原圖並附 attribution,禁止把此圖做成衍生圖或用於商業再利用,其他使用請依原始條款確認。

APPS 上五種 monitor 的 detection rates,原論文 Figure 4

Figure 4(Section 6.2, anchor S6.F4):原論文比較 APPS 的 actor-only 與 with-plan monitor detection,五種 monitors 分別對兩個 actor 彙整;threshold 為 suspicion s≥0.15,所有 monitor 都漏掉有意義比例的 attack transcripts。原始圖:arXiv HTML Figure 4。License/reuse restriction:原文標示 CC BY-NC-ND 4.0;本文使用未改動原圖供研究閱讀並保留來源,不做衍生或商業再利用。

Bio-Math 上五種 monitor 的 detection rates,原論文 Figure 5

Figure 5(Section 6.2, anchor S6.F5):原論文在 Bio-Math 重複 actor-only/with-plan 比較與 s≥0.15 threshold;多數 monitor 仍漏掉有意義比例,且 plan visibility 對 detection 的方向依 monitor/actor 而變。原始圖:arXiv HTML Figure 5。License/reuse restriction:原文標示 CC BY-NC-ND 4.0;本文保留原圖、figure number 與來源,禁止衍生與商業使用,其他用途請依 CC 條款確認。

Qwen3-235B monitor 的 reasoning-budget sweep,原論文 Figure 6

Figure 6(Section 6.3, anchor S6.F6):原論文只在 Qwen3-235B monitor 做 budget sweep,APPS 與 Bio-Math 各取 50 個 high/low samples、四個 max-thinking-token budgets、每 cell 三次 repeat;solid 是 actor-only、dotted 是 with-plan。增加 budget 可能讓 suspicion 上升,也可能下降。原始圖:arXiv HTML Figure 6。License/reuse restriction:原文標示 CC BY-NC-ND 4.0;本文使用未改動原圖並附來源,禁止衍生與商業再利用。

結果:undetected success、threshold 與 budget 不要混成一個數字

End-to-end undetected attack success

Appendix Table 8 報的是所有 sampled questions 中,同時達成 attack objective 且沒有被 monitor flag 的百分比;不是單純 adoption,也不是 detection accuracy。整理如下:

MonitorAPPS / Qwen actorAPPS / R1 actorBio-Math / Qwen actorBio-Math / R1 actor
GPT-4o Mini55%64%76%82%
DeepSeek V362%68%78%82%
Qwen3 235B51%61%77%82%
DeepSeek R137%47%74%80%
Claude 3.7 Sonnet33%40%78%81%

這張表最值得讀的不是「最差 monitor 是誰」,而是同一 monitor/同一 task 會因 actor 改變;Bio-Math 的 undetected rate 整體又高於 APPS。它支持 monitor blind spot 在特定 setting 下很大,但沒有提供一個跨 task 的固定 evasion probability。

Threshold sensitivity 與 ROC

Appendix Table 9 把 threshold 從 0.05、0.15、0.50 改變。以 APPS 為例,Qwen3 235B monitor 的 undetected success 為 40%、35%、30%;DeepSeek R1 為 63%、61%、56%;在 Bio-Math 對應為 41%、32%、18% 與 51%、48%、35%。降低 threshold 可以少放過一些 attack,卻可能提高 benign false positives;只報 0.15 的單點不足以描述 operating curve。

Appendix Table 10 的 ROC/AUC 也顯示 monitor 不是簡單的 binary oracle:GPT-4o Mini APPS/Bio-Math AUC 約 0.60/0.49,DeepSeek V3 約 0.56/0.59,Qwen3 235B 約 0.74/0.67,DeepSeek R1 約 0.80/0.72。這些 AUC 是本 paper sampling 與 scoring setup 下的 diagnostic,不是 vendor-level safety ranking。

Reasoning budget:更多 token 不保證更安全

Figure 6 只讓 Qwen3-235B monitor 遵守 budget sweep。APPS 與 Bio-Math 各自從 100 picks 中取 50 個 high suspicion 與 50 個 low suspicion samples,再挑出隨 budget 上升最多與下降最多的 20 個,各 budget 做三次 repeat,共每 dataset/variant 1,200 calls。high/low extreme selection 代表它是方向性 stress test,不是自然分布的平均。

在 APPS,增加 budget 的樣本有約 +0.26 的 suspicion,也有約 −0.28;Bio-Math 約 +0.30 與 −0.30。也就是說,更多 thinking 可能幫 monitor 發現 inconsistency,也可能讓它產生更完整的合理化,反而降低 suspicion。這是 budget calibration 的 failure mode,不是「推理越多一定越好」。

Failure modes、transfer 與其他 diagnostic

Strategy transfer 不是自動成立

Appendix B Table 5 的 single-shot pass@1 顯示,不同 strategy 的單輪 actor follow 差異很大:APPS hardcoded-special 在 Qwen 約 65.8%、R1 約 68.7%;greedy 與 integer-square-root 在 R1 只有約 3.0% 與 2.5%;Bio-Math 約為 Qwen 90.4%、R1 95.1%。這說明 plan 的難度、task structure 與 actor prior 互相作用,不能把一個成功 strategy 當成所有 harmful plan 的 template。

Appendix B Table 6 讓 closed-weight GPT-5、Claude Sonnet 4、Sonnet 5 讀 R1 plans,在 100 questions/task 的 permissive prompt 下測 transfer;Bio-Math 約 92%–98%,APPS 約 0%–40%。但 closed-weight raw CoT 不可得,因此無法做同等 monitor inspection;APPS sample 也較容易。這是 transfer evidence,同時也是觀測限制。

Actor 會 paraphrase,而不是大段照抄

Appendix B Table 7 對 verified transcripts 做 8-gram overlap:APPS n=1,972,median 10.3%、mean 12.3%、90th percentile 26.4%,超過一半 copy 約 0.5%;Bio-Math n=1,541,median 4.8%、mean 8.4%、90th 20.5%,超過一半約 0.9%。低 overlap 支持「actor 不必原文複製 plan」的 claim;但 n-gram 不是 causal attribution proof,不能因為字面不同就證明 actor 沒被 plan 影響。

Self-authored baseline 提醒我們不是所有未檢出都來自 plan

Appendix B Table 11 讓 actor 自己寫 attack,而不是接收外部 plan。對 APPS,GPT-4o Mini detection 約 79%/78%(Qwen/R1),Qwen3 235B 約 96%/98%;Bio-Math 對應約 46%/38% 與 43%/58%。這個 baseline 把「monitor 對外部 plan 的 blind spot」與「actor 自己產生的 suspicious reasoning」拆開;若只看 undetected rate,會把兩種來源混在一起。

Plan access 有 help,也有 harm

Appendix qualitative Figures 12–13 與 transcript counts 顯示,Bio-Math 有 409/722 個 actor-only miss 在 with-plan 後被抓到,也有 407 個 actor-only hit 在 with-plan 後變成 miss;APPS 對應 pattern 約 1,575 個 cases。這不是矛盾,而是 input visibility 會改變 monitor 的 scoring path。Production evaluation 應報 actor-only、with-context、context provenance ablation 與 disagreement queue,而不是只報一個 aggregate flag rate。

Artifact audit:code、data、model、demo 的可用性

截至 2026-09-16,我直接檢查了論文列出的 artifact 入口與資料來源:

  1. Code:未公開。 paper 沒有 material code repository、release commit 或可下載 implementation endpoint。Appendix C 提供 prompt templates 與研究流程細節,但 prompt text 不等於完整 evaluator code。
  2. Model/checkpoint:未提供。 actor/monitor 使用 Qwen、DeepSeek、GPT、Claude 等 model/provider 名稱;沒有作者訓練的 checkpoint,也沒有可直接重現 hidden CoT 的 inference package。closed-weight transfer 的 raw CoT 受限。
  3. APPS data:可取得但很大。 我核對了官方 APPS repository 與其 APPS.tar.gz endpoint;repository 為公開 MIT project,tarball 可回應。這支持取得原始 coding dataset,但不自動重建論文的 filter、GPT-5 input-range validation、550 題 sampling、gold verification 或 corruptor pipeline。
  4. GPQA data:受限。 GPQA repository 公開,baseline code 可讀;但其 dataset.zip 是 password-protected,Hugging Face GPQA dataset page 的 data resolve 需要 authenticated access。不能把 GitHub code 的可見性誤讀成 raw GPQA data 可自由下載。
  5. Mock AIME data:gated。 論文直接使用的 EpochAI/otis-mock-aime-24-25 dataset page 可見,但 data file resolve 需要登入/接受 gated access;這是 gated,不是 public download。
  6. Demo:未提供。 論文沒有 public interactive demo endpoint。可重做的是部分資料準備與 paper-level prompt reading,不是完整 attack discovery、actor generation、monitor scoring 與 Appendix tables。

Artifact 的 bounded verdict 是:APPS source 可取得,GPQA baseline code 可取得但 data 受限,Mock AIME gated,paper code/checkpoint/demo 缺失。要重現數字還需要 exact prompt/template、filtered samples、model versions、provider settings、API credentials、actor raw CoT、monitor context policy、threshold、random seeds、以及 paper 未公開的 evaluator plumbing。這些缺口必須在 reproduction report 中明確標成 blocked/partial,不應稱為 fully reproducible。

限制、失敗邊界與工程含義

Paper limitations:

  • 只測 Qwen3-8B 與 DeepSeek-R1-0528 兩個 reasoning actors,不能推論所有 actor model;
  • scaling 主要是 APPS 與 Bio-Math,且 Bio-Math pairing、input filters、hand-picked strategies 都可能影響結果;
  • 五個 monitors 的 aggregate bars 不等於每個 provider 的 calibrated detector;budget sweep 只在 Qwen3-235B monitor 做;
  • 50 high/50 low budget selection 是 extreme diagnostic,不代表自然 workload 的 budget-response distribution;
  • experiment 建立的是 attack consequence 與 monitor blind spot,不是 plan 在 RAG、tool output、multi-agent message bus 中如何抵達 actor 的 prevalence study;
  • closed-weight actor 沒有 raw CoT,threshold/ROC/8-gram 只能覆蓋能取得 transcript 的 subset;
  • no code/checkpoint,加上 GPQA/Mock AIME data access 限制,使外部 end-to-end reproduction 不完整。

Engineering implication: CoT monitoring 可以是有用的 signal,但不要讓它成為唯一 deletion、safety 或 release gate。至少把以下 surface 分開:

  • context provenance:system、user、retrieval、tool、memory、other-agent message 的來源與 trust level;
  • actor trace:CoT、tool call、tool result、final answer/code,以及 model/provider/version;
  • monitor view:它實際收到哪些欄位、是否包含 injected plan、threshold 與 budget;
  • outcome invariant:public tests、held-out tests、policy checks、tool side effects 或 biology/math consistency;
  • disagreement handling:actor-only 與 with-context 不一致時進 human review 或 restricted execution,不要默認哪一個 view 是真相。

什麼時候不要把這篇當成完整防禦方案? 如果系統根本不保存 context provenance、沒有 output-level invariant、或 monitor 只在事後抽樣 CoT,plan injection 只是其中一種 blind spot;還需要 prompt-injection isolation、tool authorization、sandbox、data lineage、canary、red-team 與 incident replay。反過來,如果產品只需判斷簡單 final answer,部署 full CoT monitor 的成本與 privacy risk 也可能不值得;應以 threat model 與可驗證 outcome 選 observer。

下一步閱讀

下一步讀 Indirect Prompt Injection 了解 retrieved data 如何成為 instruction channel;讀 Before Reasoning Fails 把控制點前移到 action 之前;讀 Trajectory Sentinel 比較長流程 execution trace 的 anomaly detection;若要把外部 effect 的可追溯性接進來,讀 Tool Calls Succeed but Workflows Fail

三個記憶點:離開前請帶走

  1. Clean CoT 不等於 clean causal history:plan 可能在 context 先改變 actor,事後 trace 只呈現合理化。
  2. Monitor view 與 budget 都是實驗變數:actor-only/with-plan 可能互相 help 或 harm,更多 thinking tokens 也不保證 suspicion 單調上升。
  3. 把 provenance 與 outcome invariant 補回觀測面:CoT 只能是一個 signal;要以 context lineage、actor output、tool/policy checks、threshold calibration 與 human escalation 共同治理。

原始來源與延伸資料

歡迎演講、企業內部技術分享與架構交流;可以先查看我適合分享的主題與公開工程成果。

演講與聯絡