🏷️ 技術趨勢分類
- 大型模型 (LLM) 的深度應用與效能優化 (相關度: 0.98)
- AI Agent 技術的全面普及與智慧化演進 (相關度: 0.95)
- 邊緣智能與多模態 AI 的融合發展 (相關度: 0.90)
報告內容
綜合分析報告:Training, Inference, Agents: Beyond Apps in the AI-Native World
會議概述和核心內容
本次主題演講「Training, Inference, Agents: Beyond Apps in the AI-Native World」由 Linux 基金會 AI 與基礎設施總經理,同時也是 OpenStack 和 OpenInfra 基金會共同創辦人 Mark Collier 於 2025 年 6 月的 AICon Beijing 大會上發表。演講的核心主旨旨在闡述在「AI原生」時代下,人工智慧發展的三大關鍵支柱:訓練 (Training)、推論 (Inference) 和代理 (Agents),並深入探討開源、基礎設施和社群在塑造這一未來中所扮演的不可或缺角色。
Collier 先生的演講強調,人工智慧的快速崛起已對底層基礎設施提出前所未有的巨大需求,且這一發展趨勢正將計算範式從以應用程式為中心轉變為以模型和代理為中心的「AI原生」模式。他透過回顧 OpenInfra 在中國的十五年發展,以及 Linux 基金會與 OpenInfra 基金會確保「每個計算時代都是開放的」使命,為 AI 原生世界的開放性奠定基礎。簡報最終呼籲透過開放協作和社群力量,共同構建開放、創新且繁榮的 AI 未來。
技術要點和實現細節
本簡報對 AI 原生計算的三大支柱進行了詳盡的技術剖析,並強調了相關的開源工具和架構。
-
AI 原生計算:
- 定義: 一種專為模型主導思考和互動的世界所設計的基礎設施。它旨在運行持續學習系統、處理 token 串流和代理工作流程,並優化大規模推論,而非僅僅是靜態程式碼、網頁請求或數據儲存。
- 軟體自主編寫趨勢: 數據顯示,AI 已經能為微軟、Google 等公司編寫高達 30% 以上的新程式碼,Meta 更預計 AI 將在一年內處理一半的開發者工作,預示著軟體開發模式的根本性變革。
-
支柱 ① 訓練 (Training):
- 定義: 透過輸入數據調整演算法參數,最終產出可進行預測的模型。訓練方法不斷演進,包括完整預訓練、微調和強化學習等。
- 技術棧點:
- 框架/函式庫: PyTorch 是主流,高達 80% 的研究人員使用,並正逐步取代 TensorFlow 成為行業事實標準。
- 基礎設施黏合層: DeepSpeed、Megatron-LM、Ray 等專案旨在提升大規模訓練的效率和性能。
- 預訓練模型與數據: DeepSeek-V3、Mistral-7B、RedPajama 等開放權重模型和數據集加速了模型迭代與創新。
- 模型相容性與匯出: ONNX 和 Hugging Face Transformers 為模型的跨平台部署和互操作性提供支持。
- 關鍵細節: 開放檢查點和數據集是快速迭代的基石,而開放權重則驅動下游創新。中立的基金會治理模式透過建立信任,促進了生態系統的繁榮。
-
支柱 ② 推論 (Inference):
- 定義: 載入已訓練模型並對即時請求返回預測結果。其可在邊緣晶片到資料中心的廣泛環境中運行,並高度依賴專用硬體和軟體來優化速度與效率。
- 重要性: 推論是 AI 產品走向市場的關鍵環節,其工作負載量高達訓練的 50 倍,對商業系統而言,可靠性和效率至關重要。我們正進入一個「自我改進計算」的新飛輪效應時代。
- 技術棧點:
- 運行時 / 圖執行: ONNX Runtime 提供可移植的圖執行,TensorRT-LLM 專注於 LLM 推論優化。
- 分散式引擎: vLLM 已成為事實上的開放生成式 AI 推論平台,能夠在多種模型、硬體和雲端環境中高效運行。llm-d 作為一個新興項目,有望成為「AI 核心」,透過基於 Kubernetes 的大規模分散式推論,實現 Prefill/decode 分離、KV Cache 分布、AI 感知路由器等高級功能。
- 服務框架: KServe 和 Triton Inference Server 標準化了在 Kubernetes/OpenStack 上部署和服務模型的流程。
- 優化/快取: LM Cache 等技術用於提升推論效率。
- 核心概念: 簡報借鑒 Andrej Karpathy 的「軟體 3.0」概念,將 LLM 類比為新一代作業系統,其中推論運行時是核心,代理協議是系統呼叫,代理工作流程是應用程式,工具/技能則是週邊設備。
-
支柱 ③ 代理 (Agents):
- 定義: 將模型封裝成程式碼,使其能夠呼叫工具、與其他代理或人類對話,並透過開放協議將推論結果轉化為行動。
- 技術棧點:
- 編排協議: MCP (Model Communication Protocol) 和 A2A (Agent2Agent Protocol) 是關鍵標準。Google Cloud 將 A2A 移交給 Linux 基金會,標誌著行業巨頭對開放、互通代理生態的共識。
- 代理框架: LangChain、CrewAI、IDEA、ChatDev 等提供了構建和管理代理的工具。
- 工具註冊中心 / API: OpenAI Function Calling 和 BentoML Tool Hub 使得代理能夠發現並使用各種工具和外部 API。
- 記憶體/向量儲存: Chroma、Weaviate、pgvector、Redis-Vector 等支持代理的長期記憶和知識檢索。
- 核心細節: 軟體焦點從「使用者速度」轉向「代理速度」,並強調「情境工程」(Context Engineering) 比「提示工程」(Prompt Engineering) 更重要,因其涉及向代理提供正確且上下文相關資訊的藝術與科學。小型語言模型 (SLM) 在代理式 AI 中因其效率和適用性被預期將扮演重要角色。
商業價值和應用場景
AI 原生世界的三大支柱不僅是技術革新,更蘊含著巨大的商業價值和廣闊的應用前景。
-
開源驅動的市場顛覆與成本優勢:
- 市場競爭加劇: DeepSeek R1 的發布導致 Nvidia 股價下跌近 17%,並引發市場對「大型語言模型之間沒有護城河」的討論,迫使 OpenAI 等專有模型供應商重新思考其開源策略。這表明開源模型在性能上已大體追趕甚至超越閉源模型,且成本更低,將加速市場競爭並促進技術普惠。
- 價值鏈重塑: 開源軟體(OSS)透過降低雲平台、軟體、硬體和服務的底層成本,將價值和創新推向技術棧的頂層,例如基礎模型微調、專業模型開發和 AI 安全等高附加值領域。這為企業提供了在更開放、更經濟的基礎上構建 AI 解決方案的機會。
-
AI 原生計算帶來的效率與自動化:
- 軟體開發自動化: 微軟、Google 和 Meta 等巨頭的 CEO 均指出,AI 已能生成 30% 到 50% 的程式碼。這意味著開發效率的指數級提升,企業可以將寶貴的人力資源從重複性編碼工作中解放出來,投入到更具戰略性的業務創新上。
- 代理自動化工作流程: AI 代理的崛起將自動化大量的重複性工作流程,包括程式碼生成、文件處理、營運操作等。這將極大提升企業營運效率,降低人力成本,並實現過去難以自動化的複雜任務。
- 「代理速度」取代「使用者速度」: 軟體設計範式將從優化人類使用者的操作速度轉向優化 AI 代理的執行速度。這使得代理池能夠水平擴展,實現近乎無限的吞吐量,對應的是企業級應用中大規模、高併發的自動化需求。
-
基礎設施的戰略意義:
- 應對 AI 挑戰: AI 對基礎設施提出巨大要求,包括數據量、IT/雲端 Ops 技能、數據安全、高頻模型更新、加速器稀缺、網絡容量和多雲互操作性等。擁有穩健、開放的基礎設施是企業成功實施生成式 AI 的基石。OpenInfra 及其生態夥伴在中國乃至全球的廣泛部署,證明了其在支撐大規模、關鍵業務應用上的能力,為 AI 原生世界提供了可靠的底層支持。
- 降低鎖定風險: 透過開放標準和協議(如 A2A 移交給 Linux 基金會),企業可以避免被單一供應商鎖定,保有技術選擇的彈性,並促進跨廠商的互操作性,這對於長期戰略佈局和成本控制至關重要。
-
新興的商業機遇:
- 情境工程師: 「情境工程」作為一項新興技能,將創造新的職位和服務市場,專注於為 AI 代理提供精準且高效的輸入。
- LLM 推論服務提供商: 隨著推論工作負載的爆炸性增長,提供高效、可靠且可擴展的 LLM 推論服務將成為巨大的商業機會。vLLM 等平台的發展為此提供了技術基礎。
- 代理編排與工具平台: 代理框架、工具註冊中心和記憶體/向量儲存等領域將催生新的 SaaS 服務和解決方案供應商,幫助企業構建和部署複雜的代理系統。
創新亮點和技術突破
本簡報呈現了 AI 領域一系列前瞻性的創新與技術突破,標誌著 AI 原生時代的來臨。
-
開源 AI 的顛覆性崛起:
- 性能與成本的雙重突破: DeepSeek-R1 的案例證明,開源模型在短時間內不僅在評估指標上大體趕上甚至超越閉源模型,更以其成本效益對市場產生衝擊。這打破了專有模型在性能上的壟斷地位,加速了 AI 技術的民主化。
- 生態系統加速器: DeepSeek R1 在 Hugging Face 上幾週內達到數百萬的下載量和數十萬的點讚數,遠超其他知名模型。這凸顯了開源模式在加速創新、廣泛採用和提高可訪問性方面的無與倫比優勢。
-
AI 原生計算的新範式:
- 從應用到模型的核心轉移: AI 原生計算的定義——為模型而非人類設計基礎設施——代表了計算領域的根本性範式轉變。這是一個從「靜態程式碼」到「持續學習系統」、從「網頁請求」到「tokens 串流和代理工作流程」的質變。
- 軟體自主編寫: AI 具備自動編寫程式碼的能力,這是軟體開發史上的一個里程碑。它不僅提升了開發效率,更預示著未來軟體將以更加自動化和智能化的方式演進。
-
推論技術的飛躍:
- vLLM:大規模推論的事實標準: vLLM 透過其獨特的後端架構,有效地在多種硬體和環境上管理大規模生成式 AI 推論,並支援多種主流大型語言模型,成為開放 GenAI 推論領域的關鍵創新。
- llm-d:潛在的「AI 核心」: llm-d 的設計理念和技術細節,如 Prefill/decode 分離、KV Cache 分布、AI 感知路由器,展現了實現基於 Kubernetes 的超大規模分散式推論的潛力。若其成功,將成為 AI 運行時的核心,極大優化資源利用和效率。
- LLM 作為新作業系統的類比: Andrej Karpathy 將 LLM 視為新一代作業系統的觀點,是理解 AI 原生計算深層結構的重大突破。它提供了一個全新的視角,來理解推論運行時、代理協議和代理工作流程如何構成未來的軟體生態。
-
代理技術的標準化與演進:
- 開放代理協議 (MCP, A2A) 的重要性: 代理的互操作性和避免供應商鎖定,高度依賴開放標準。MCP 和 A2A 協議的提出,特別是 A2A 專案移交給 Linux 基金會,是推動 AI 代理生態系統走向開放、協作的關鍵一步。這為構建跨平台、可互通的智能代理網絡奠定了基礎。
- 情境工程的崛起: 超越傳統的提示工程,情境工程要求更深入地理解和管理 AI 代理的上下文信息。這是一項新的、更複雜的技能,其優化將直接影響代理的效能和可靠性。
- 小型語言模型 (SLM) 在代理中的應用: 認識到 SLM 在代理式 AI 中因其效率和適用性而具備的潛力,是資源優化和成本效益方面的重要洞察,有助於推動代理技術的廣泛應用。
趨勢洞察和未來展望
本次簡報不僅剖析了當前 AI 領域的現狀,更提供了對未來發展趨勢的深刻洞察和明確展望。
-
開源主導 AI 未來:
- 不可逆轉的趨勢: DeepSeek 等開放模型對專有模型的衝擊,明確指出「閉源的『護城河』是短命的」。開源的快速創新、高採用率、廣泛可訪問性和對底層成本的降低,將使其成為 AI 發展的主流模式。未來,所有關鍵的 AI 基礎設施、模型和工具都將朝向開放源碼的方向發展。
- 中立治理的重要性: PyTorch 的普及和 A2A 專案移交 Linux 基金會的案例,強調了中立、開放的基金會治理模式在建立信任、協調生態系統和加速創新方面不可替代的作用。這將是確保 AI 技術健康、持續發展的關鍵。
-
基礎設施成為 AI 競爭的制高點:
- 核心挑戰: AI 對 GPU 稀缺、能源消耗、低延遲需求和數據重力等基礎設施挑戰的提出,使其成為 AI 發展的瓶頸,同時也是創新的前沿。未來的競爭將不僅僅是算法和模型之爭,更是底層計算資源和高效基礎設施能力的競爭。
- AI 原生基礎設施的崛起: 我們將見證為「模型主導」世界而優化的 AI 原生基礎設施的快速成熟。這包括圍繞 PyTorch、ONNX、vLLM、LLM-d、KServe 等構建的新技術棧,以及對多加速器調度和效率的極致追求。
-
代理 (Agents) 是軟體和自動化的未來:
- 軟體範式巨變: AI 代理將根本性地改變軟體的工作方式,從「使用者速度」轉向「代理速度」,實現大規模、自動化的工作流。人類將更多地從執行者轉變為「規劃者、審查者和協調者」。這將推動企業實現前所未有的自動化水平和生產力提升。
- 標準化是關鍵: 代理仍處於早期階段,其成功擴展的關鍵在於建立開放且廣泛採用的標準協議,如 MCP 和 A2A。這些標準將像 OCI 對 Kubernetes 一樣,確保代理生態系統的互通性和避免供應商鎖定。
- 情境工程的專業化: 「情境工程」將成為一項日益重要的專業技能,對於設計高效、可靠的 AI 代理至關重要。相關的培訓、工具和方法論將隨之興起。
-
社群和集體投資是 AI 原生時代的驅動力:
- 超越程式碼的開放: 僅開放程式碼或模型權重不足以構建強大的生態系統。專案治理、互操作性、貢獻者體驗、社群驅動行銷,以及開放數據和評估,都是社群成功的要素。堅持「四開放原則」(開源、開放設計、開放開發、開放社群)將是構建最強大社群的秘訣。
- 巨大的投資需求: 歷史經驗表明,開放平台(如 OpenStack 和 Kubernetes)的成功需要數億美元的非營利基金會投資。AI 原生時代預計將需要近 10 億美元的投資,這是一個巨大的數字,強調了全球社群和行業夥伴集體協作和投資的迫切性。
- 歷史的迴響: 從「雲端」到「雲原生」再到「AI 原生」的演進,每一次飛躍都伴隨著底層技術(VMs → Containers → Tokens)和開放平台(OpenStack → Kubernetes → AI 原生堆疊)的革新。這一歷史趨勢預示著社群作為「重心」,將再次引領 AI 原生時代走向開放與繁榮。
總而言之,本次 AICon Beijing 的主題演講為我們描繪了一個以訓練、推論和代理為核心,由開源、強大基礎設施和活躍社群共同驅動的 AI 原生世界。它不僅提出了技術挑戰和創新解決方案,更深刻地揭示了開源協作對於 AI 領域未來發展的戰略意義和不可逆轉的趨勢。