← 部落格

工程筆記

Kimi-K3 企業私有化部署成本全解析：2.8T MoE 的 GPU 算力、機房電費與 TCO 實務評估

Enterprise AI 閱讀約 10 分鐘 更新

Kimi-K3 企業私有化部署成本全解析：2.8T MoE 的 GPU 算力、機房電費與 TCO 實務評估 AI Agent 實戰 Bloss0m Note 077

Moonshot AI 於 2026 年 7 月公開了旗艦級 Mixture-of-Experts (MoE) 模型 Kimi-K3。這款模型總參數達 2.8T、單次 Token 前向傳播啟用約 104B 參數，並支援原生多模態與高達 1,048,576 tokens (1M) 的超長上下文視窗，專為長時間程式開發、Agent 工作流與複雜知識工作設計。

然而，當企業團隊取得公開的模型權重後，隨即面臨一個殘酷的現實：「可以下載權重」與「能在公司機房穩定運行生產服務」是截然不同的兩件事。

許多基礎設施主管常問：「既然每 Token 只啟用 104B 參數，是否用兩台常見的 8-GPU 伺服器就能跑起來？」答案是否定的。根據 SGLang 官方部署指南 與 vLLM 官方文檔 的推論拓撲規範，本文將深入剖析 Kimi-K3 的硬體邊界、推論拓撲、電費試算、機房配套，以及企業落地的實務導入路徑。

一、Kimi-K3 模型規格與顯存下限計算

評估私有化部署的第一步，是計算載入模型權重與系統運行所需的最低 HBM (High Bandwidth Memory) 容量。

Kimi-K3 官方核心規格

項目官方規格說明
模型架構Mixture-of-Experts (MoE)
總參數數量2.8T (2,800,000,000,000)
每 Token 啟用參數104B
模型層數與 Expert 配置93 層；896 routed experts (每 Token 選 16 個) + 2 shared experts
上下文視窗 (Context Window)1,048,576 tokens (1M)
權重與激活值格式MXFP4 權重 / MXFP8 Activation
視覺編碼器 (Vision Encoder)MoonViT-V2 (約 401M 參數)

理想化權重體積 vs. 實際部署所需顯存

若按理想化的 4-bit (MXFP4) 權重進行理論下限估算：

2.8×1012 parameters×4 bits=11.2×1012 bits≈1.4 TB2.8 \times 10^{12} \text{ parameters} \times 4 \text{ bits} = 11.2 \times 10^{12} \text{ bits} \approx 1.4 \text{ TB}

純數學計算下，模型權重就需要 1.4 TB。然而，實際推論引擎 (如 SGLang 或 vLLM) 還必須保留額外空間給以下關鍵元件：

  1. Quantization Metadata & Non-MXFP4 Tensors：量化 Scale 參數與未量化的特殊層。
  2. Vision Encoder & Embeddings：圖像特徵提取與輸入/輸出層。
  3. MoE Communication Buffers & CUDA Workspace：跨 GPU/跨節點 All-to-All 通訊緩衝區。
  4. KDA State Pool：決定系統同時處理請求上限 (Concurrency) 的狀態池。
  5. MLA KV Cache Pool：決定長上下文 (Context Window) 吞吐量的快取池。

在 SGLang 的官方部署範例中，針對 NVIDIA B300 節點，甚至建議將 mem-fraction-static 設定在 0.82 至 0.85 之間。這意味著：即便有超過 2 TB 的總顯存，載入權重後剩餘的動態空間依然非常緊湊。

二、主流推論框架的硬體部署拓撲

截至 2026 年 7 月，SGLang 與 vLLM 為 Kimi-K3 提供不同的拓撲支援方案：

                              ┌── 8× NVIDIA B300 (單節點, 2.3 TB HBM)
                              ├── 8× NVIDIA GB300 (2節點 Grace Blackwell)
                              ├── 16× NVIDIA B200 (2節點, 2.88 TB HBM)
Kimi-K3 部署拓撲方案選擇 ──┼── 16× NVIDIA H200 (2節點 Hopper, 2.26 TB HBM)
                              ├── 32× NVIDIA H100 (4節點, 2.56 TB HBM, 餘裕最少)
                              └── 8× AMD MI355X (單節點, 2.3 TB HBM3e)

官方拓撲對比表

GPU 平台參考配置拓撲總 GPU 數量系統總 HBM部署特性與說明
NVIDIA B3001 節點 × 8 GPU8~2.30 TB單節點優選：避免跨伺服器 MoE 通訊
NVIDIA GB3002 節點 × 4 GPU8~2.30 TB跨兩個 Grace Blackwell 節點
NVIDIA B2002 節點 × 8 GPU16~2.88 TB高顯存餘裕，適合大併發與長上下文
NVIDIA H2002 節點 × 8 GPU16~2.26 TBHopper 生態成熟，需雙節點 RDMA 網路
NVIDIA H1004 節點 × 8 GPU32~2.56 TB舊卡再利用，權重載入後餘裕最少且跨節點壓力大
AMD MI355X1 節點 × 8 GPU8~2.30 TBAMD 單節點方案：288GB HBM3e，基於 ROCm/AITER

特別注意：SGLang 對 H100 拓撲有明確備註：32 張 H100 是所有參考配置中「權重載入後 HBM 餘裕最少」的方案。而 vLLM 的最小 NVIDIA 門檻則要求 8× GB300，AMD 則要求 8× MI350X/MI355X。

三、硬體專案預算與電費開支估算

企業採購 GPU 伺服器時，絕非單純買「八張顯卡」，而是採購包含 CPU、主記憶體、NVSwitch/Infinity Fabric、高頻寬網卡 (InfiniBand/RoCE)、NVMe 儲存、液冷模組及原廠 3~5 年保固的完整 HGX/DGX 專案系統。

1. 採購預算級距試算 (新台幣)

下表為 2026 年市場系統整合商 (SI) 專案估算級距，適合做為企業專案立項前的初步預算參考：

硬體配置拓撲節點數建議初步專案預算級距 (NTD)評估可信度與採購提醒
8 × AMD MI355X 完整平台1NT$900萬 ～ NT$1,600萬元單節點，需確認台灣 OEM 供應與保固細節
8 × NVIDIA B300 完整平台1NT$1,300萬 ～ NT$2,300萬元單節點最優選，系統結構單純
16 × NVIDIA H200 完整平台2NT$2,000萬 ～ NT$3,500萬元Hopper 生態成熟，需要建置跨節點高速網路
16 × NVIDIA B200 完整平台2NT$2,500萬 ～ NT$4,000萬元顯存餘裕最大，適合生產級高負載
32 × NVIDIA H100 完整平台4NT$3,000萬 ～ NT$4,500萬元二手與新品差異大，線路與機房成本極高

2. 每月電力與能源費用試算

計算 AI 伺服器電費時，不能僅看 GPU 的 TDP 功耗，必須以整台伺服器的 IT 總功率 配合機房 PUE (Power Usage Effectiveness) 進行計算。

電費計算公式

Monthly kWh=System IT Power (kW)×Average Load (70%)×PUE (1.4)×720 hours\mathrm{Monthly\ kWh} = \mathrm{System\ IT\ Power\ (kW)} \times \mathrm{Average\ Load\ (70\%)} \times \mathrm{PUE\ (1.4)} \times 720\ \mathrm{hours} Monthly Energy Cost=Monthly kWh×Electricity Rate (NT$3.5 to NT$5.5/kWh)\mathrm{Monthly\ Energy\ Cost} = \mathrm{Monthly\ kWh} \times \mathrm{Electricity\ Rate\ (NT\$3.5\ to\ NT\$5.5/kWh)}

方案配置節點數估算 IT 總功率每月用電量 (kWh)每月能源費試算 (NTD)三年能源費總支出 (NTD)
8 × MI355X114 ~ 18 kW~9,878 - 12,701NT$3.5萬 ～ NT$7.0萬元NT$123萬 ～ NT$252萬元
8 × B300114.5 kW~10,231NT$3.6萬 ～ NT$5.6萬元NT$129萬 ～ NT$204萬元
16 × H200220.4 kW~14,394NT$5.0萬 ～ NT$7.9萬元NT$180萬 ～ NT$285萬元
16 × B200228.6 kW~20,180NT$7.1萬 ～ NT$11.1萬元NT$255萬 ～ NT$399萬元
32 × H100440.8 kW~28,788NT$10.1萬 ～ NT$15.8萬元NT$363萬 ～ NT$570萬元

3. 三年硬體與能源預算總計 (TCO 初步級距)

配置拓撲初步硬體專案預算三年能源費估算三年硬體＋能源基本支出 (NTD)
8 × MI355XNT$900萬 ～ NT$1,600萬NT$123萬 ～ NT$252萬NT$1,023萬 ～ NT$1,852萬元
8 × B300NT$1,300萬 ～ NT$2,300萬NT$129萬 ～ NT$204萬NT$1,429萬 ～ NT$2,504萬元
16 × H200NT$2,000萬 ～ NT$3,500萬NT$180萬 ～ NT$285萬NT$2,180萬 ～ NT$3,785萬元
16 × B200NT$2,500萬 ～ NT$4,000萬NT$255萬 ～ NT$399萬NT$2,755萬 ～ NT$4,399萬元
32 × H100NT$3,000萬 ～ NT$4,500萬NT$363萬 ～ NT$570萬NT$3,363萬 ～ NT$5,070萬元

四、企業機房與基礎設施防坑指南

許多企業採購了價值數千萬元的伺服器後，才發現公司的傳統機房根本無法插電運作。生產級部署必須克服三道關卡：

1. 電力設施：拒絕辦公室延長線

  • 高電壓與三相電：單台 DGX B300 功耗達 14.5 kW，必須配備 200V~240V 三相電與高電流專用 PDU。
  • 契約容量調整：企業需向台電申請增加契約容量，避免一開機即引發超約附加費或跳電。
  • 不斷電系統 (UPS)：確保瞬間斷電時有足夠時間讓軟體正常關機，保護高價 GPU。

2. 冷卻散熱：邁向液冷門檻

  • 傳統風冷機櫃單櫃散熱上限約為 10 kW ~ 15 kW。8×B300 或 16×B200 等高密度設備，通常需要 Direct-to-Chip 晶片直接液冷 或 Rear-Door Heat Exchanger (後門水冷壁)，並搭配 CDU (Cooling Distribution Unit) 與冰水系統。

3. 高速網路：MoE 跨節點通訊瓶頸

  • Kimi-K3 在跨節點運作時會產生大量的 MoE All-to-All 通訊。若使用 16×H200 或 32×H100，伺服器之間必須鋪設 InfiniBand (400Gbps) 或 RoCEv2 (GPUDirect RDMA)。
  • 比喻：買了 32 張 H100 卻只接 10GbE 乙太網路，就像聘請了 32 位頂級大廚共同做菜，卻只給他們一支湯匙互相傳遞食材。

五、百萬 Context 的現實約束與「丐版」PoC 策略

雖然 Kimi-K3 支援 1M (1,048,576) Context Window，但在工程實務中，「模型支援 1M」絕不代表可以隨便開放 1M 使用。

工作負載與建議 Context 開放設定

把大量 PDF 與檔案直接倒進 1M 上下文中，並不是真正的知識管理。這會導致 KV Cache 瞬間吃滿 GPU 顯存，讓首字延遲 (TTFT) 急劇上升。

一般聊天與問答 (8K - 32K Context) ──► 推薦給大多數日常企業內部使用
企業 Agentic RAG (32K - 64K Context) ──► 平衡精準度與 KV Cache 顯存壓力
大型文件/代碼庫分析 (64K - 128K Context) ──► 限流、單併發排隊執行
1M 極限 Context ──► 僅限特殊單一受控任務，不開放多人併發

最小可行性「丐版」PoC 驗收標準

若企業目標僅為「先在自家機房成功跑起來、驗證模型能力」，可採用 1 節點 8×B300 或 8×MI355X 的單節點「丐版」策略：

  1. Context 鎖定 32K ~ 64K，不追求極限長文本。
  2. 同時請求數 (Concurrency) 限制為 1 ~ 4。
  3. 暫時關閉圖片處理功能與 Speculative Decoding，優先確認文字問答穩定度。
  4. 驗收五關：模型完整下載 ➔ 所有 GPU 成功載入權重 ➔ API Health Check 回傳 200 ➔ 成功回傳第一個 Token ➔ 連續發送 10 次請求不升天。

六、企業導入 Kimi-K3 的建議 5 階段流程

對於評估大模型自建的企業，我們建議採取以下漸進式 5 階段路徑：

[階段 1: API 品質驗證] ──► [階段 2: 蒐集真實流量數據] ──► [階段 3: 租用 GPU 壓測] ──► [階段 4: 取得廠商報價] ──► [階段 5: 完整 TCO 試算與決策]

有關企業 AI 代理人架構設計與檢索系統的延伸閱讀，請參閱我們的專題指南：

七、參考來源與結論

技術規格與部署拓撲參考資料：

Kimi-K3 展現了 2026 年頂級開源 MoE 模型在複雜 reasoning 與長上下文任務上的強大能力。但私有化部署是一項涵蓋 GPU 拓撲、機房三相電、液冷架構、InfiniBand 高速網路與長期維運人力 的綜合工程。

對大多數企業而言，單套系統包含三年電費的基本門檻在 NT$1,000萬 至 NT$5,000萬元 之間。切忌將「開源免費」與「部署便宜」劃上等號。採取先軟後硬、先 API 後私有化的嚴謹驗證流程，才是降低企業 AI 落地風險的明智之舉。

CONTINUE EXPLORING

沿著相近的架構、實作與工程決策繼續閱讀。

歡迎演講、企業內部技術分享與架構交流；可以先查看我適合分享的主題與公開工程成果。

演講與聯絡