🏷️ 技術趨勢分類
- 大型模型 (LLM) 的深度應用與效能優化 (相關度: 1.00)
- 邊緣智能與多模態 AI 的融合發展 (相關度: 0.95)
- AI Agent 技術的全面普及與智慧化演進 (相關度: 0.90)
報告內容
好的,這是一份根據您提供的 PPT 內容,撰寫的京東零售大模型推理優化實踐綜合分析報告。
京東零售大模型推理優化實踐:技術、商業與趨勢綜合分析報告
會議信息概覽: * 標題: 京東零售大模型推理優化實踐 * 研討會: 2025 AiCon Beijing * 類型: 主題演講 * 演講人: 楊培軍,京東/AI 架構師
一、 會議概述和核心內容
本次京東零售在 2025 AiCon Beijing 大會上的主題演講,深入剖析了其在大模型推理優化領域的最新實踐與前瞻性思考。演講核心聚焦於解決大型語言模型(LLM)在實際電商應用場景中面臨的性能、效率與成本挑戰。
核心內容可以歸納為四大板塊: 1. 大模型應用場景: 闡述了大型模型如何深度變革京東電商全鏈路,涵蓋生成式 AI、智能體 AI 和實體 AI 等多個維度。 2. 大模型應用挑戰: 揭示了在模型規模、效果、效率平衡、硬體瓶頸(記憶體、頻寬)以及服務多樣性等方面所面臨的嚴峻考驗。 3. 核心優化實踐: 詳細介紹了京東為解決上述挑戰所採用的系統級、模型級、硬體級優化策略,包括分離式架構、KV Cache 優化、多級負載均衡、多層流水線 Overlap 等一系列創新技術。 4. 總結及展望: 歸納了當前成果,並對未來大模型推理系統、模型、硬體協同發展,以及與生成式推薦等新興領域的融合進行了展望。
整場演講不僅展示了京東在大模型應用落地的深度與廣度,更突顯了其在克服複雜技術挑戰方面的卓越工程能力和創新精神。
二、 技術要點和實現細節
京東零售在大模型推理優化方面展現了從底層硬體到上層應用的全棧技術棧,其核心技術要點和實現細節體現了對效率、時延和吞吐量的極致追求。
2.1 大模型應用面臨的技術挑戰 演講精準指出了大模型應用中的三大核心技術挑戰: * 效能、效果與效率的平衡: 巨大的模型參數量導致高昂的計算資源消耗和記憶體壓力。例如,DeepSeekR1-671B(FP8)模型需要 671GB 記憶體,遠超單張 H20 GPU 的 96GB 顯存,這要求極致的模型輕量化和高性能優化。 * 硬體瓶頸: 記憶體容量和訪存頻寬成為「記憶體牆」瓶頸,尤其在自回歸解碼的 Prefill(計算密集)和 Decode(記憶體密集)階段,計算特性差異導致算力利用率低,而 KV Cache 更是顯存佔用飆升的罪魁禍首。 * 服務場景高度多樣化: 用戶請求負載波動大、輸入/輸出長度動態變化、不同的服務等級目標(SLO)和請求優先級,以及多模態支持、異構硬體部署等,都對推理系統的穩定性、彈性和調度能力提出了嚴苛要求。
2.2 京東的核心優化實踐與技術實現
針對上述挑戰,京東構建了一套集分佈式、異步化、軟硬體協同於一體的綜合推理優化體系:
-
分離式架構(Separated Architecture):
- 設計理念: 深度解耦傳統單體模式,將模型結構、計算階段和存儲資源分離,實現模型並行(TP/PP/EP/DP)、計算階段(PD/EPD)分離和 KV Cache 存儲池化。
- 多維混合並行: 結合了張量並行(TP)、流水線並行(PP)、專家並行(EP)、數據並行(DP)的優勢。尤其針對 MoE 模型,通過 EP/TP/DP 的混合並行,將總參數 6710 億、單次激活 370 億的模型高效分佈到多個 GPU 上,有效降低單設備記憶體壓力,提高計算並行度。
- PD/EPD 分離: 針對 Prefill 和 Decode 階段不同的資源需求(Prefill 計算密集,Decode 記憶體密集),將兩者資源隔離部署,獨立處理與優化,有效降低了 TTFT(首字時延)和 TBT(字間時延),提升系統吞吐。對於多模態大模型(VLM),進一步引入 EPD 分離,實現圖像預處理、編碼與文本 Tokenizer 的異步並行。
- KV Cache 傳輸優化: 在 PD 分離場景下,優化了 KV Cache 的傳輸通道(從 Device 直推到 Offload DRAM),並實現了分塊傳輸(Layer-wise 與按需合併),減少了傳輸時延。
-
KV Cache Pool:
- 問題: KV Cache 隨序列長度線性增長,佔用大量顯存。
- 解決方案: 將 KV Cache Offload 到 DRAM/SSD 擴展 HBM 空間,並將不同實例的多級 KV Cache 存儲(HBM/DRAM/SSD)做全局共享管理,組建「KV Cache Pool」,用於全局 Prefix Cache 和 PD KV Cache 傳輸。這從根本上解決了 KV Cache 導致的「記憶體牆」問題。
-
多級負載均衡:
- 問題: 傳統 RoundRobin 無法感知 Instance 真實負載(特別是 KV Cache 佔用),導致負載不均和性能瓶頸。
- 解決方案: 引入全局調度器,實現 Prefix Cache Aware 和 KV Cache Aware 的智能調度。同時,針對 DP 和 EP 並行場景,分別設計了 DPLB (Data Parallel Load Balancing) 和 EPLB (Expert Parallel Load Balancing),有效平衡了各工作負載,避免熱點問題,提升了整體時延。
-
多層流水線 Overlap:
- 問題: CPU 調度與 NPU/GPU 計算串行、單流計算與通信交替執行、計算與數據搬運串行等,導致資源利用率低下,產生大量「bubble」。
- 解決方案:
- CPU 與 NPU 計算異步流水線: 採用 fake token 技術,提前執行下一迭代的 CPU 調度,與當前迭代的 NPU forward 計算重疊。
- NPU 計算與通信異步流水線: 使用雙流(兩個 micro batch),將前一個 batch 的通信與當前 batch 的計算重疊。
- 算子內部并行: 利用 NPU Cube 計算單元、Vector 計算單元、訪存流水并行。
- 投機推理優化: 在 DeepSeek MTP 投機推理中,通過提前準備下一迭代的 Input,減少 Draft/Target 模型交互中的等待時間。
- PD 分離通信與計算 Overlap: LayerWise 異步傳輸 KV Cache,與當前迭代的 forward step 重疊,顯著降低長序列傳輸耗時。
-
模型壓縮與高性能算子:
- 簡報提及了 LLM 加速技術中的模型壓縮(如 AWQ/Smooth Quant, INT4/INT8/FP8 量化)和高性能算子(如 FlashAttention, FlashInfer, Kernel Launch, CudaGraph),這些是優化基礎性能的關鍵。特別是 DeepSeek 模型在 MLA(多頭潛在注意力)上的創新,實現推理顯存降低 80%以上。
綜合來看,京東的優化實踐是從宏觀的系統架構設計到微觀的算子級優化,再到硬體層面的深度協同,構成了一個全面的、多層次的優化體系。
三、 商業價值和應用場景
京東零售的大模型推理優化實踐不僅在技術層面實現了突破,更在廣闊的電商應用場景中創造了顯著的商業價值。
3.1 廣泛的電商應用場景
京東將大模型技術深度融入電商全鏈路,重構技術基座,主要體現在以下三大類應用中:
-
生成式 AI (Generative AI):
- 內容自動生成: AI 商品圖生成、視頻生成、AI 營銷內容生成,極大提升了內容生產效率和創意性,降低了營銷成本。
- 數字人應用: AI 模特圖生成、數字人直播導購(3C/家居/媒體場景),提升用戶互動體驗,降低真人模特和主播成本,並可實現 7x24 小時服務。
-
智能體 AI (Agentic AI):
- 用戶服務: AI 客服與售後管理,實現智能問答、訂單處理、問題解決,顯著提升服務效率和用戶滿意度。
- 經營優化: AI 經營托管、AI 倉配優化,通過智能預測和決策,提高運營效率,降低庫存和物流成本。
- 交互式推薦: 可交互導購、商品對比、商品總結、購物建議、銷量預測、採購決策,提供更個性化、精準的購物體驗和商業決策支持。
- 倉儲物流: 貨物搬運(智能體決策),優化內部物流流程。
-
實體 AI (Physical AI):
- 自動分揀機器人、智能空間、自動駕駛,這些技術提升了物流倉儲的自動化水平和效率,降低了人力成本和錯誤率,是京東智慧物流的基石。
3.2 顯著的業務落地效果
這些技術優化並非停留在理論層面,而是在實際業務中取得了量化且令人印象深刻的成果:
-
可交互導購場景:
- 用戶體驗提升: TP99 時延下降 50%,極大地縮短了用戶等待時間,提升了交互流暢性。
- 資源效率提升: 資源節省約 60%,直接轉化為運營成本的大幅降低。
- 商業指標增長: 用戶點擊轉化率(UCVR)提升 +5%,活躍用戶佔比提升 +2%,證明了更優質的導購體驗能直接帶動用戶參與度和銷售轉化。
-
商品理解場景:
- 處理能力增強: 大模型吞吐提升 3X,使得京東能夠處理更大規模的商品數據。
- 成本大幅削減: 模型推理成本節省約 70%,為持續的大模型投入和擴展提供了堅實的經濟基礎。
- 多模態處理效率: 多模態大模型推理吞吐提升約 20X,意味著京東能更快、更高效地處理商品圖片、視頻等多模態信息,實現更精準的商品理解。
- 實效性提升: 支持標籤的實效性提升 10X 以上,確保商品資訊的及時更新和準確性,有利於精準營銷和庫存管理。
這些數據充分證明,京東零售的大模型推理優化實踐不僅是技術的勝利,更是商業價值的勝利。通過提升效率、降低成本、優化用戶體驗,京東在大模型時代保持了強大的市場競爭力。
四、 創新亮點和技術突破
京東零售在大模型推理優化方面的創新和突破是其核心競爭力之一,主要體現在以下幾個方面:
-
分佈式推理架構的深度解耦與創新:
- 分離式架構 (Separated Architecture): 這是一個領先業界的架構設計。京東不僅採用了業界通用的 TP/PP/DP 等並行策略,更進一步將模型結構、計算階段(Prefill/Decode, Encoder/Prefill/Decode)和存儲資源深度解耦。這種分離允許對不同階段的資源需求進行精準匹配和獨立優化,突破了傳統單體部署的限制,為彈性、高效、可擴展的分布式推理系統奠定了基礎。
- PD/EPD 分離: 針對 Prefill/Decode 和多模態 Encoder-Prefill-Decode 階段不同的計算/記憶體特性,進行資源隔離部署,並為其定制優化方案,是解決連續批處理中資源干擾、提升效率的巧妙創新。
-
KV Cache 管理的突破性解決方案:
- KV Cache Pool: 針對 KV Cache 導致的「記憶體牆」瓶頸,京東提出的將 KV Cache Offload 到 DRAM/SSD,並將多級存儲全局共享管理的「KV Cache Pool」是一個實用且高效的解決方案。它不僅有效擴展了可用記憶體空間,更實現了 Prefix Cache 的高效復用,極大地提升了吞吐量和降低了成本。
-
智能、精細化的多級負載均衡:
- Context-Aware 調度: 引入全局調度器,實現 Prefix Cache Aware 和 KV Cache Aware 的智能調度,這超越了簡單的 RoundRobin 策略,能夠實時感知 Instance 的真實負載狀態,從而做出更優的資源分配決策。
- 專用並行負載均衡 (DPLB/EPLB): 針對數據並行 (DP) 和專家並行 (EP) 特性,設計專門的負載均衡策略,有效解決了並行計算中的負載差異和熱點問題,確保了整體系統的高效運行。
-
多層次、深度重疊的流水線優化:
- CPU-NPU 異步流水線與 Fake Token 技術: 通過使用 Fake Token 提前執行 CPU 調度,實現 CPU 與 NPU 計算的異步並行,有效減少了串行等待時間。
- 計算與通信雙流異步: 利用多個 Micro Batch 實現計算與通信的深度重疊,打破了傳統串行執行的限制,最大化了硬體資源利用率。
- 投機推理的精細化優化: 在 DeepSeek MTP 等投機解碼技術的基礎上,京東通過前瞻性的 Input 準備,減少了 Draft Model 和 Target Model 之間交互的 bubble,進一步榨取了投機解碼的潛力。
-
軟硬體深度協同的戰略佈局:
- 從簡報中可以看出,京東不僅在軟體層面進行了大量創新,還積極支持國產晶片 NPU 推理,並構建了如 CloudMatrix384 這樣的超節點集群,具備全對等互聯和光通信技術。這種軟硬體深度協同的策略,旨在打開算力存儲與通信天花板,實現單集群如「一體機」的效果,是未來 AI 基礎設施發展的重要方向。
這些創新亮點共同構成了京東在大模型推理優化領域的技術護城河,使其能夠在激烈的市場競爭中保持領先地位,並持續為業務創造價值。
五、 趨勢洞察和未來展望
京東零售的實踐不僅展示了當前的技術成就,也提供了對未來大模型發展趨勢的深刻洞察和前瞻性展望。
5.1 行業發展趨勢洞察
- 大模型技術的普及與深化: 互聯網頭部玩家全面入局,競爭戰略要衝,推動大模型技術持續迭代。多模態感知、智能體應用、邊緣智能部署等維度將取得更大突破。
- 大模型驅動產業變革: 大模型正在驅動電商全鏈路發生深度變革,並重構技術基座。這不僅限於零售,未來更多行業將經歷 AI 重塑。
- 開源生態與成本效益: DeepSeek 等開源模型在性能、架構和成本上實現顛覆性突破(訓練成本約 1/10,推理 API 成本約 1/30),這將加速產業落地,降低 AI 技術門檻,並推動企業更積極地利用大模型。
- 推理效率與成本的戰略意義: 隨著大模型應用規模的擴大,推理效率和成本已成為企業部署 AI 的核心考量。京東的實踐證明,系統級優化是搶佔市場高地的關鍵。
5.2 京東的未來展望
京東對未來大模型推理優化的展望是全面且富有遠見的,涵蓋了系統、模型和硬體三大層面:
-
系統層面:
- 智能化集群調度: 將借鑒傳統分布式系統經驗,構建更智能的集群調度能力,如 AutoPD(自動 Prefill/Decode 分離)和 Dynamic EP(動態專家並行)。這意味著系統將能根據實時負載和模型特性,自動進行最優的資源配置和調度。
- 高效故障轉移與容錯: 確保高可用性,處理 Request / Instance Failover,並探索 KV Cache 重算及遷移備份等能力,提升系統在面對故障時的韌性。
- 分布式架構的持續演進: 強調分佈式架構賦能,實現高性能、強擴展、高可用,這仍將是未來系統優化的核心。
-
模型層面:
- 模型結構與硬體性能深度結合: 深入理解模型結構(如 MoE, MQA/GQA 等),挖掘硬體理論性能極限。
- 算子級優化: 通過高效 Fusion Kernel 和更先進的並行策略(如 FlashAttention/FlashMLA/LargeEP),以及訪存、通信與計算的深度 Overlap,最大化硬體資源利用率。這要求對底層算法和硬體特性有極致的理解和工程實現能力。
-
硬體層面:
- 軟硬深度協同: 這是未來 AI 算力突破天花板的關鍵。京東強調通過與硬體廠商的深度合作,打開算力、存儲與通信的限制。
- 先進集群架構: 以 CloudMatrix384 超節點為例,通過全對等互聯架構和光通信技術,實現單集群如「一體機」的效果。這意味著數據傳輸延遲和頻寬將不再是瓶頸,可以實現更緊密、更高效的並行計算。
5.3 與生成式推薦等領域的融合
一個特別值得關注的趨勢洞察是京東將大模型推理優化技術擴展到生成式推薦與檢索領域。京東認識到生成式推薦 (如 Kuaishou OneRec, Meta GR) 和類生成式檢索 (如 Google TIGER) 與 LLM 技術存在同源性:
- 相似點: 序列緩存(用戶序列 Embedding vs Prefix Cache)、分離式架構(CPU & GPU 解耦 vs EPD 分離;存儲 & 計算解耦 vs KV Cache Pool)、長序列建模(SIM GSU 序列壓縮 vs DeepSeek NSA 序列壓縮)等。這表明 LLM 優化經驗可以在這些領域復用。
- 挑戰點: 推薦場景面臨更大規模稀疏特徵表達(億級 vs 萬級),流量大,且完全 list-wise 的「自回歸生成」資源消耗巨大。未來需要持續探索 Tokenizer/DeTokenizer、Vocabulary 規模以及採樣策略等方面,以平衡效果和性能。
這一洞察預示著,未來不僅是通用大模型本身,其核心的推理優化技術也將成為跨領域 AI 應用加速的關鍵。京東的戰略是通過這些技術的共通性,構建一個更高效、更通用的 AI 基礎設施,服務於更廣泛的商業應用。
總結
京東零售的「大模型推理優化實踐」主題演講,呈現了一幅關於如何在複雜電商環境下高效、經濟地應用大模型的藍圖。報告不僅詳盡分析了其面臨的挑戰,更系統地闡述了從分佈式架構、KV Cache 管理、智能負載均衡到多層流水線重疊的完整優化策略。
這些努力在實際業務中取得了斐然的成績,例如可交互導購時延降低 50%、資源節省 60%,以及商品理解吞吐提升 3X、成本節省 70%。這證明了京東在 AI 領域的深厚技術積累和卓越工程實力。
展望未來,京東將繼續在系統智能化、模型極限挖掘和軟硬體深度協同方面發力,並將大模型推理優化經驗推廣至生成式推薦等新興領域。這份報告不僅是對當前成果的總結,更是對未來 AI 基礎設施建設和應用拓展方向的深刻指引。京東的實踐為業界提供了一個如何將前沿 AI 技術轉化為實質商業價值的典範。