← 部落格

工程筆記

LLM 推論成本怎麼算?從 DeepSeek-R1 實測到 GPU 租價

LLM 推論成本怎麼算?從 DeepSeek-R1 實測到 GPU 租價

要讓大型語言模型快速開始回答,背後究竟需要多少 GPU?與其從 GPT、Claude 的售價猜機房配置,不如先看一個有公開權重、硬體規格與原始測試紀錄的案例:DeepSeek-R1

在 MLPerf Inference v6.0 的 Nebius 提交結果中,8 張 B200 與 8 張 B300 都跑出約 1 秒的 P95 首字延遲,整組輸出吞吐分別為 51,692.89 與 60,413.44 Token/秒。這些是公開實測,不是本文假設;也不是本站自行租機測得的結果。B200 原始紀錄B300 原始紀錄

但有一個重要差別:整組每秒五、六萬 Token,不代表你一個人的答案也以這個速度出現。 同一份紀錄的平均每輸出 Token 時間約為 70 毫秒。首字等待、生成節奏與整組吞吐,是三個不同指標。

本文先讀懂這組實測,再比較 API 費率、模型容量與 GPU 租價。所有價格是 2026-09-03 查核的公開快照;實測數據、官方報價與本文算術推導分開標示,不把估算包裝成供應商內部成本。

一、先看真實數字:8 張 GPU 跑 DeepSeek-R1

測的是哪個模型、哪種服務?

這裡是完整的 DeepSeek-R1,671B 總參數、每 Token 啟用 37B,不是蒸餾小模型,也不是後來的 R1-0528 或 V4。選它不是宣稱它最新,而是因為這組案例能同時追到模型、系統與測試紀錄。DeepSeek 官方模型卡

測試條件本文採用的範圍查核來源
提交與場景Nebius;MLPerf Inference v6.0;Server;兩組結果均標示 VALID上述 B200/B300 原始紀錄
模型與精度完整 R1;提交欄位記錄權重為 FP4,經量化與 affine fusionB200 measurementsB300 measurements
軟體與版本DeepSeek-R1 的 TensorRT-LLM 執行路徑;系統列示分支 feat/1.2-mlpinf、CUDA 13.1執行說明、下表系統檔
工作負載4,388 筆評測樣本,涵蓋數學、知識問答與程式題;不是固定長度的聊天測速MLCommons 工作負載說明

執行說明把原始 R1 權重固定到 revision 56d4cbbb4d29f4355bab4b9a39ccb717a14ad5ad,也列出 NVIDIA FP4 checkpoint 選項。模型基底與 FP4 精度可確認,但不能只靠這份 README 唯一判定每次提交使用了哪個量化 checkpoint revision。 同理,不能把資料集檔名裡的 fp8_eval 誤認成這次的權重精度。

硬體、吞吐與體驗放在同一張表

下列延遲從原始紀錄的奈秒換算,四捨五入到小數點後兩位。TTFT 是首個輸出 Token 的等待時間;TPOT 是每輸出 Token 的時間指標,不能把它當成單次最慢停頓。

指標8 × B2008 × B300
節點/GPU 數1/81/8
每 GPU 記憶體(提交規格)180 GB270 GB
整組記憶體(相加)1.44 TB2.16 TB
整組輸出吞吐(Token/秒)51,692.8960,413.44
完成樣本/秒13.8116.05
平均 TTFT(毫秒)629.79616.63
P95 TTFT(毫秒)959.56996.55
平均 TPOT(毫秒)71.8669.31
P95 TPOT(毫秒)75.4878.83
完整請求延遲中位數(秒)152.24145.46

硬體取自 B200 系統檔B300 系統檔;效能取自 B200 performance logB300 performance log。TB 是十進位相加,並非一塊可無損任意取用的共享記憶體;B300 的 270 GB 採提交規格,不與其他產品頁的容量數字混用。

原始設定列出的 TTFT/TPOT 限制是 2 秒/80 毫秒;這是驗收條件,不是量到的延遲。上表另列實際平均與 P95,避免把規格上限當成實測。B200/B300 的目標到達率分別為 14/16.2 次請求每秒,不是固定併發人數;兩組是各自調校的服務點,不是只有 GPU 型號不同的控制實驗。

量化也不能只看速度:同一提交的獨立 accuracy run,在這套題庫的 exact-match 分數分別為 81.43%/81.59%。這不是一般任務正確率,也不是與未量化版本的品質差比較。B200 accuracyB300 accuracy

這些數字可以怎麼理解?

一組 8-GPU 服務,確實能在這套測試負載下約 1 秒開始輸出,但長推理答案仍可能需要數分鐘。 上表完整請求的中位數約 2.5 分鐘,不能把「首字快」寫成「完整答案 1 秒完成」。這也不是已證明每條串流都能達到 40 Token/秒。

更不能用 51,692.89 除以某個單人速度,就宣布能讓多少人同時順暢聊天。輸入與輸出長度、排隊、快取、推理量及延遲要求不同,都會改變服務容量。本文沒有將未核定的 batch、快取命中率或推測解碼設定擅自填成零;若要重現或採購,仍須補齊實際執行設定並用自己的請求重測。

最後,8 張是這次公開測試的配置,不是 R1 的最低部署張數,也不是每位使用者獨占 8 張,更不是 GPT/Claude 的實際配置。 多 GPU 副本可透過批次排程服務多筆請求;常駐模型也不等於每收到一句話才重新啟動一整組卡。

二、九個模型的價目表,必須先對齊計價條件

以下價目表用來算購買 API 的帳單,不是上節 R1 的成本或性能對照;尤其 DeepSeek V4 Pro 與 R1 是不同模型。下表單位均為 USD/一百萬 Token,採文字工作負載的標準線上費率;未套用 Batch、企業議價或免費額度。快取欄是讀取命中價格,不包含建立與儲存費。模型名稱連到官方來源。

模型/服務一般輸入快取讀取輸出本表採用的條件
GPT-5.6 Sol4.000.4020.00輸入不超過 272K;促銷價格
Claude Fable 5.110.000.2550.00標準費率
Claude Opus 55.000.5025.00標準費率
Gemini 3.1 Pro Preview2.000.2012.00Prompt 不超過 200K
Gemini 3.8 Flash0.750.0753.75至 2026-12-31 的價格
Grok 4.62.000.506.00Prompt 小於 200K
DeepSeek V4 Pro1.320.0443.96尖峰時段;API 別名對應 Pro-0813
Qwen3.8 Max1.650.2064.951北京部署;implicit cache
Kimi K33.000.3015.00國際平台美元報價

50 ÷ 3.75 約為 13.3 倍,但這只是兩個列示條件下的輸出單價比,不是能力、速度或硬體成本比。表內也不是完全同質的產品:包含 Preview、促銷與特定地區費率。

三種不能省略的小字

有效日期。 GPT-5.6 Sol 的官方頁面將目前價格標為至少持續到 2026-11-21 的促銷。Gemini 3.8 Flash 則列出自 2027-01-01 起輸入/輸出為 1.50/7.50。做年度預算時,要保留促銷結束情境,不能把今天的價格直接乘十二個月。

地區與快取種類。 Qwen3.8 Max 新加坡部署的輸入/輸出是 2.00/6.00;北京 explicit cache read 為 0.137,與表中的 implicit cache 不同。Kimi 本文直接採國際美元價,不把人民幣換算值當成全球統一售價。

Context 上限不等於計價門檻。 GPT-5.6 Sol 輸入超過 272K,整筆請求的輸入/輸出倍率分別變成 2/1.5;Gemini 3.1 Pro 超過 200K 是 4/18;Grok 4.6 的價格表在 200K 起列為 4/12。不要把整筆請求切換費率,誤算成只有超出的 Token 加價。OpenAI 模型規格Google 價格表xAI 價格表分別定義自己的門檻。

相對地,Claude Fable 5.1 與 Opus 5 的完整 1M context 適用標準費率。支援長上下文,並不代表每家都會用同一個級距收費。Anthropic 定價文件

三、先算一筆請求,而不是只看輸出單價

把一般輸入、快取讀取、快取建立與輸出,分成互不重複的計費數量。若費率單位是每百萬 Token,基本模型是:

Crequest=IuPu+IrPr+IwPw+OPo106+CextraC_{request}=\frac{I_uP_u+I_rP_r+I_wP_w+OP_o}{10^6}+C_{extra}

其中 I 是各類輸入數量,O 是計費輸出,P 是對應單價;u、r、w 分別表示未快取、快取讀取、快取建立。額外費用可能包含快取儲存、搜尋、程式執行或其他工具。若供應商將建立費定義成附加費,必須改寫模型,不能照抄分類後重複收算。

一個可以自己重算的例子

假設某次 GPT-5.6 Sol 請求包含 20,000 個輸入 Token,其中 18,000 已命中快取、2,000 是一般輸入,另產生 2,000 個計費輸出;本次沒有建立快取、沒有額外工具費,也未跨入長上下文級距。

Crequest=2,000×4+18,000×0.4+2,000×20106=0.0552C_{request}=\frac{2{,}000\times4+18{,}000\times0.4+2{,}000\times20}{10^6}=0.0552

單次為 USD 0.0552;若全部輸入都未快取,則為 USD 0.12。但這不是快取生命週期的完整報酬:初次建立與後續失效仍需入帳。OpenAI 的短上下文快取建立單價是 5.00,而非讀取價 0.40。OpenAI API 定價

快取命中通常是在重用已處理的前綴狀態,省去部分重複 prefill;不是免費讀取一份文字檔。以服務流程來說,prefill 處理輸入並建立後續生成需要的狀態;decode 逐步產生輸出。兩階段的平行性、記憶體存取與排程條件不同,不能只用輸入加輸出的總 Token 數比較所有工作負載。AMD ATOM 服務與快取配置

還有兩個常見漏項。第一,計費輸出不一定等於讀者看到的答案:Google 明確將 thinking tokens 納入輸出計價;Gemini 3.1 Pro 的快取儲存另收 4.50/百萬 Token/小時。第二,不同模型 tokenizer 不同,同一份文件不保證有相同 Token 數。Google 計價說明

對 Agent 而言,還要把整段工作流的模型呼叫、工具結果回填與重試加總。把單次聊天價格當成一件 Agent 任務的成本,通常會漏掉真正的大項;任務邊界可參考 AI Agent 架構指南

四、總參數與啟用參數,回答的是不同問題

MoE(Mixture of Experts,混合專家)模型只讓每個 Token 通過一部分專家,但其他專家權重仍需要被儲存或調度。總參數比較接近容量問題;每 Token 啟用參數是計算量的線索,卻不是完整的 FLOPs、延遲或電費。

公開模型總參數每 Token 啟用參數官方揭露與適用邊界
DeepSeek-R1671B37B上節實測模型;測試提交使用 FP4,不是 BF16 基準
DeepSeek-V4-Pro1.6T49BMoE;公開權重包含混合精度配置,不宜假定全模型都是 FP8
Qwen3.8-2.4T-A95B2.4T95B開放模型架構參考;不代表託管 Max 服務的完整部署細節
Kimi-K32.8T104B公開模型卡列出 MXFP4 權重、MXFP8 activation

T 表示兆、B 表示十億。依公開數字相除,依表格順序,啟用占比分別約為 5.51%、3.06%、3.96%、3.71%。這不代表耗電只剩同尺寸 dense 模型的相同比例:attention、共享元件、路由、資料搬移與 GPU 間通訊都還存在。

Kimi 的啟用參數應直接採模型卡的 104B,不可用總參數乘上「選中專家數/全部專家數」取代;共享與非路由參數不服從那個比例。這也說明為什麼只有專家數量,仍不足以推算成本。

對 GPT、Claude、Gemini 與 Grok,本文所查的官方 API 文件不足以建立這種參數與部署對照。因此不填猜測的參數量,也不由價格指定它們必定使用某款 GPU 或 TPU。即使有開放權重,公開模型版本也不能自動視為託管 API 當下的完整實作。

五、裝得下權重,只是硬體估算的第一關

先做最簡單的理想 payload 計算:

Mweights=Ptotal×bM_{weights}=P_{total}\times b

b 是每個參數占用的 bytes。若假設所有權重都用同一精度,BF16 為 2、FP8 為 1、FP4 為 0.5,可得到下列算術情境;單位為十進位 TB,不是 TiB。

模型規模BF16 理想 payloadFP8 理想 payloadFP4 理想 payload
671B1.342 TB0.671 TB0.3355 TB
1.6T3.2 TB1.6 TB0.8 TB
2.4T4.8 TB2.4 TB1.2 TB
2.8T5.6 TB2.8 TB1.4 TB

R1 的理想 FP4 payload 約為 335.5 GB,但不能因此認為 335.5 GB 記憶體就能重現上節效能。這張表不是每個模型各自都有三種可用 checkpoint 的聲明,也沒有算進量化 scale、混合精度層或 runtime buffer。

NVIDIA H200 提供 141 GB HBM。只做容量除法,1.6 TB/141 GB 向上取整是 12 張;2.4 TB 是 18 張;1.4 TB 是 10 張。NVIDIA H200 規格

這些張數不是部署建議。 它們只是假設權重全駐留 HBM、理想切分時的 payload 容量下界;不能保證平行切分合法、量化 kernel 相容或效能可用。用 H200 的容量除 MXFP4 payload,也不等於 H200 原生支援該 checkpoint 的最佳執行路徑。

正式服務還要處理 KV cache(注意力的 key/value 狀態)或混合架構的循環狀態、activation、暫存與通訊 buffer,並為長請求、併發、故障切換留容量。MoE 還可能因專家分布不均而出現忙碌 GPU 等待其他 GPU 的狀況。

公開服務配置比容量除法更接近現實。把 AMD 文件中的兩種配置與尚未公開的產品部署分開看:

參考配置GPU 資源能支持的判斷來源
Kimi-K3 aggregated單節點 8 張 MI355X同一組卡處理輸入與生成;具體配置可部署AMD Infera
Kimi-K3 disaggregated8 張 prefill+8 張 decode,共 16 張 MI355X分離兩個階段,跨節點傳遞 KV;需驗證通訊與延遲AMD Infera
GPT-5.6 Sol/Claude Fable 5.1本文所查文件未揭露不能把上述張數直接移植為它們的配置OpenAIAnthropic

前兩列是軟硬體參考配置,不是官方託管服務的機房清單。16 張也不表示吞吐必然是 8 張的兩倍;跨節點通訊與工作負載都會改變結果。這些數字的用途,是建立「一個服務副本可能是一整組加速器」的直覺,而非宣布所有大型模型都需要 8–16 張。

六、用有效吞吐量,把 GPU 小時換成成本區間

比「需要幾張卡」更有用的量,是同一付費時段內,整組設備實際完成多少輸出 Token。設 N 為付費 GPU 張數,T 為整組平均輸出 Token/秒,則:

Ghours/MTok=106N3600TG_{hours/MTok}=\frac{10^6N}{3600T}

若每 GPU 每小時租價為 r,GPU 租金攤提為:

CGPU/MTok=106Nr3600TC_{GPU/MTok}=\frac{10^6Nr}{3600T}

這裡的 MTok 專指一百萬輸出 Token;分子包含服務同一批工作負載所用的 GPU 時間,因此也把處理其輸入的 GPU 時間攤入。它不是可以另外再加一次的獨立 decode 成本。

GPU 租用參考價:單卡單價與整組報價要分開

以下是 2026-09-03 查核的報價,單位均為 USD/小時。DigitalOcean 為 Dedicated Inference,Lambda 為 on-demand Instances;兩者服務內容不同,不是同條件性能排名。8-GPU 欄採該方案的整組費率,不把單卡價格一律乘八。

GPU/供應商單 GPU8 GPU 整組來源
H100/DigitalOcean4.4130.32官方價目
H200/DigitalOcean4.4735.78官方價目
B300/DigitalOcean10.3983.10官方價目
MI300X/DigitalOcean2.5920.70官方價目
MI325X/DigitalOcean2.9823.82官方價目
MI350X/DigitalOcean6.89未列示官方價目
H100 SXM/Lambda4.2931.92(8 × 3.99)官方價目
B200 SXM6/Lambda6.9953.52(8 × 6.69)官方價目

Lambda 的 8-GPU 頁籤列的是每張 GPU 每小時費率,上表才乘八換成整組。DigitalOcean 的 8x 則已是整組報價。來源未列示的項目留白,不自行補成可購買的方案;MI350X 也不是前節配置使用的 MI355X。

例如 8 張 H200 依表中方案連續租 24 小時,費用是 35.78 × 24=USD 858.72,不是有人提問時才計費。是否另有稅金、儲存、網路或承諾用量條件,仍要確認方案;Lambda 明示適用稅額另計。便宜的每卡小時,不保證便宜的每件任務:容量、互連與實測吞吐必須一起比,也不能把某 GPU 的測速搭配另一款 GPU 的租價。

用實測吞吐與外部租價,做一個可重算的折算

這裡不再任選每秒 4,000 Token 或每卡 USD 4。吞吐採第一節的 R1 原始紀錄,時租採上表相同 GPU 型號的 8-GPU 報價。

但供應商不同:實測是 Nebius,報價是 Lambda/DigitalOcean。下表是「假如租來的環境也能維持該吞吐」的跨供應商成本情境,不是這些平台的實測帳單,更不是部署效能保證。 同型 GPU 仍可能有不同互連、功耗、CPU、記憶體與服務設定,正式比較必須在實際租用環境重測。

外部租價折算情境整組輸出吞吐(Token/秒)整組時租(USD)每百萬輸出折算(USD)
Nebius B200 實測 × Lambda 8-GPU 租價51,692.8953.520.288
Nebius B300 實測 × DigitalOcean 8-GPU 租價60,413.4483.100.382

吞吐來源:B200 logB300 log;租價來源:LambdaDigitalOcean。最後一欄為本文推導,未加供應商方案外的費用。

以 B200 為例,直接把整組時租取代公式中的 N × r:

CGPU/MTok=53.52×1063600×51,692.890.288C_{GPU/MTok}=\frac{53.52\times10^6}{3600\times51{,}692.89}\approx0.288

這個低數字成立的關鍵,不是「一張卡很便宜」,而是整組設備在該測試負載下持續完成大量輸出。它不能拿來宣稱 R1 一定比表中的 V4 Pro、GPT 或 Claude 划算:模型、品質、負載、服務範圍與計價分母都不同。

利用率不能漏算,也不能算兩次

假設 B200 情境只有一部分付費時間能以參考吞吐工作,其餘完全閒置,可做下列線性敏感度分析。這三列是假設,不是新增的實測結果

以參考吞吐運作的時間占比日曆平均輸出吞吐(Token/秒)每百萬輸出折算(USD)
100%51,692.890.288
50%25,846.4450.575
25%12,923.22251.150

可寫成 T=u × T_ref,u 是有效忙碌時間占比,不是 GPU 監控面板的 SM utilization。若 T 已由「整個付費時段的輸出總量/該時段秒數」算出,就已包含閒置,不可再除一次利用率。真實低流量也可能改變批次效率,突發與排隊不一定線性;這張表只揭示閒置的攤提效果,不是生產流量預測。

Benchmark 的分母,要比品牌名稱先看

一組可用於成本估算的 benchmark 至少要交代:模型與精度、GPU 型號與數量、服務引擎、輸入/輸出長度、併發、快取命中率、推測解碼設定,以及達成的延遲條件。

「3,000 Token/秒」若是輸入加輸出,就不能當成 3,000 個輸出 Token;單請求串流速度也不等於叢集總吞吐。為了拉高吞吐而放寬排隊時間,可能無法符合你的服務需求。AMD ATOM 的測試文件明列輸入/輸出長度和併發設定,正是讓數字可解讀的必要背景。AMD ATOM 測試配置

如果 GPU 租金試算高於 API 單價,不代表供應商必然賠錢;可能是你的吞吐假設、公開租價或負載條件不同。反過來,也不能把 API 售價減去 GPU 租金,就稱為毛利:CPU、網路、儲存、維運、備援與其他成本都尚未完整計入。

要回答「100 人要幾張卡」,還缺什麼?

本文不再給沒有對應壓測的 GPU 人數表。8 張卡的公開實測回答的是特定服務點,不是所有工作負載的併發上限。 完成請求/秒是速率;同時生成中的請求數是併發;兩者不能直接互換。

若要替自己的網站或 Agent 平台規劃容量,先固定模型版本與精度,從真實請求取樣輸入/輸出長度、快取與工具往返,再逐步提高到達率。每個負載點一起記錄 P95 TTFT、TPOT、失敗率與整組輸出吞吐,直到碰到預先訂好的品質與延遲門檻;最後才加上流量尖峰與故障備援容量。

若目標是每條串流 40 Token/秒,對應的時間預算約為 25 毫秒/Token。這與本文實測平均 TPOT 約 70 毫秒不同,不能直接套用其總吞吐,宣稱相同配置已達成那個目標;更不能把增加副本當成單條生成必然加速的證明。

七、折扣與級距,揭示的是服務政策,不是硬體祕密

同一服務,不同時段。 DeepSeek V4 Pro 的離峰輸入/快取/輸出為 0.66/0.022/1.98,是表中尖峰的一半。尖峰定義為週一至週五 UTC 01:00–04:00、06:00–10:00,其餘為離峰。DeepSeek 定價

同一模型,不同完成時限。 Claude Fable 5.1 和 Opus 5 的 Batch 輸入/輸出均為標準價五折。它適合可等待的處理,不應直接代入即時互動預算。Anthropic Batch 費率

Batch 也不是跨模型通用權利:Grok 4.6 官方標為不支援;Kimi 的 Batch 費率頁列出 K2.6、K2.5,不能把那些折扣自動套給 K3。Qwen 也需要查實際地區與模型快照的支援,不能從平台有 Batch 功能就推論每個模型可用。Grok 模型頁Kimi Batch 定價Qwen 模型頁

把離峰、Batch、促銷與長上下文門檻放在一起,合理的結論是:售價同時受服務條件與商業政策影響,不能只視為物理運算量計表。 但這不是控制實驗,不能因此宣稱折扣前後底層硬體、負載與成本完全不變。

對平台團隊,實際決策是把可延後的工作移出即時路徑、穩定可重用前綴、避免無效長上下文,再用品質與延遲回歸確認沒有省錯地方。RAG 的檢索品質與內容選擇往往比一味塞滿 context 更值得先處理,相關方法見 Enterprise RAG 指南

八、最後比較每件成功任務,而不是最便宜的 Token

假設兩條工作流處理同一批 100 件任務,使用相同驗收標準。A 總費用 USD 8,80 件通過;B 總費用 USD 12,96 件通過。每件成功任務成本分別為 0.10 與 0.125。B 不因通過率高就必然更便宜,A 也不因單價低就自動可採用:若上線要求至少 95 件通過,A 根本不符合門檻。

這是本文的假設例子,不是模型排名。完整比較還應把失敗任務的重試、人工複核與升級成本納入分子;不同安全、延遲或品質門檻下的結果,不應混成同一張排行榜。

Caccepted task=Cmodel+Ctools+Cinfra+CreviewNacceptedC_{accepted\ task}=\frac{C_{model}+C_{tools}+C_{infra}+C_{review}}{N_{accepted}}

開始選型前,先留下一份能重跑的紀錄:

  1. 固定服務版本與費率。 記下日期、地區、模型 ID、長上下文門檻及折扣期限,不只寫產品暱稱。
  2. 取樣真實任務。 保存輸入/計費輸出長度、快取命中與建立量、工具呼叫、重試及人工處理,避免只測一句問候語。
  3. 先訂驗收門檻。 用同一題庫檢查正確性、安全性、P95 延遲與完成率,再比較成本。
  4. 做三組負載情境。 至少看持續忙碌、平常流量與突發尖峰;自建服務要把備援與閒置的付費時間算進去。
  5. 持續對帳與回歸。 用帳單核對估算,費率、模型或路由改變後重新量測。平台實作可接到 生成式 AI 平台工程的觀測與評測流程

最後給一個有數字、也有邊界的答案

公開證據能支持的答案是:DeepSeek-R1 在這次測試用一組 8 張 B200/B300,達到每秒 51,692.89/60,413.44 個輸出 Token;P95 首字延遲為 959.56/996.55 毫秒,平均 TPOT 為 71.86/69.31 毫秒。 這就是可核對的硬體與體驗尺度,而不是從 API 售價猜出來的張數。B200 紀錄B300 紀錄

在另一個明確分開的成本情境中,若租用的 B200 環境能維持相同吞吐,按外部整組 USD 53.52/小時 折算,約為 USD 0.288/百萬輸出 Token;只有一半時間以該速率工作,約為 USD 0.575。這不是 Nebius 的成本揭露,也不是 Lambda 的性能測試。

所以,讀者可以帶走「一個可公開查證的大型推理模型服務案例,背後是一整組 8 張高階 GPU」這個具體概念,但不能延伸成「每個人占用 8 張」、「GPT/Claude 也固定用 8 張」或「100 人一定要幾張」。真正的採購結論,仍須由自己的工作負載、延遲、品質與每件成功任務成本共同驗證。

資料與推估邊界

本文區分三層證據:MLCommons 儲存庫中的 Nebius 提交紀錄是公開實測;模型卡、部署文件與價目表是官方揭露;權重 payload、跨供應商租價折算及閒置敏感度是本文推導。測試結果連結固定到 commit 4d3916ac9cf474b679cdfcf492d43a0559418ad1,避免日後檔案更新造成數字無法追溯。本站未自行重跑測試,也沒有供應商內部成本帳、完整生產部署或同條件跨模型壓測,因此不提供實際毛利或 GPT/Claude GPU 張數。正式採購與部署前,請重查價格、補齊執行設定並實測。

歡迎演講、企業內部技術分享與架構交流;可以先查看我適合分享的主題與公開工程成果。

演講與聯絡