🏷️ 技術趨勢分類
- 大型模型 (LLM) 的深度應用與效能優化 (相關度: 0.95)
- AI-Native 數據基礎設施與智能決策平台 (相關度: 0.75)
報告內容
DLRover在萬卡規模大模型訓練中的穩定性實踐:綜合分析報告
研討會概述
本次研討會標題為「DLRover在萬卡規模大模型訓練中的穩定性實踐」,於2025年6月的AiCon Beijing全球人工智慧開發與應用大會上由螞蟻金服高級專家馬介悅發表。演講聚焦於解決超大規模人工智慧模型訓練所面臨的嚴峻挑戰,特別是在訓練穩定性、效率和資源管理方面的問題,並詳細介紹了基於DLRover平台的解決方案及其核心組件。
1. 會議概述和核心內容
本次演講的核心是DLRover平台如何為「萬卡規模」的大型語言模型(LLMs)訓練提供穩定、高效且自動化的解決方案。隨著「Scaling Law」的持續演進,LLMs的參數規模呈現指數級增長,這不僅推動了AI技術的變革,也對底層基礎設施帶來了前所未有的挑戰。
核心問題點: * 模型規模爆炸式增長: 從BERT到GPT-4,模型參數已達十萬億級別,預期未來如Llama4、Grok等模型將動用十萬塊H200 GPU進行訓練。 * 高昂的GPU成本與故障率: GPU單卡故障率雖然固定,但在萬卡規模下,集群的整體故障率被放大,導致訓練中斷頻繁。 * 同步訓練的規模效應: 分布式同步訓練中,單點故障會影響整個集群,造成大量計算資源和時間的浪費。 * 有效訓練時長低下: 由於故障發現、容錯、恢復和重啟計算等環節耗時,導致實際用於模型迭代的有效訓練時間大打折扣。
核心解決方案: DLRover平台應運而生,旨在提供一套智慧訓練服務,透過其三大特性——訓練加速、自動資源配置和提高訓練穩定性,全面應對上述挑戰。簡報中特別介紹了DLRover的兩大關鍵輔助組件:Flash Checkpoint (FlashCkpt) 用於高效的斷點續訓,以及 XPUTimer 用於精準的性能診斷與故障定位。這些技術的結合,使得超大規模大模型訓練的有效時長能達到99%,極大地提升了訓練效率和可靠性。
2. 技術要點和實現細節
DLRover平台及其配套工具在技術實現上展現了高度的複雜性和創新性,旨在從底層到應用層全面保障大規模訓練的穩定性與效率。
2.1 DLRover 平台核心技術
DLRover作為智慧訓練服務平台,其核心技術可歸納為以下幾點:
-
彈性訓練(Elastic Training):
- 無人值守的故障處理: 深度擴展了PyTorch的TorchElastic機制,實現了進程級和節點級的自動容錯。當部分節點故障時,訓練能夠自動繼續,無需人工干預,透過驅逐故障機、節點重調度、進程重啟和回退重計算等步驟快速恢復。
- 動態資源配置: 能夠在訓練啟動前預估資源,並在訓練過程中根據業務需求(如搜推業務)或模型狀態(如LLM訓練中MFU不均衡)動態擴縮容訓練節點。
- 聯動診斷模塊: 透過XPUTimer、訓練框架、SRE運維系統和日誌系統等多源信息,提前發現異常並自動處理。
-
組網與訓練前置檢查(Network & Precheck):
- 雙輪組網檢測: 透過兩輪測試識別潛在故障節點。第一輪使用矩陣乘(matmul)等算子測試單機性能,隨後進行兩兩節點的NCCL通訊測試。第二輪針對潛在故障節點和正常節點再次進行NCCL測試,確保準確判定故障機。
- Precheck腳本: 在訓練啟動前,於節點內部運行腳本,對硬體、環境、網絡、作業系統等基礎設施進行全面檢查,提早規避潛在問題。
- 計算節點可靠性: 從製造商交付到節點重新上線,經歷pod交付測試、XPU常規測試、算子測試、通訊庫測試、模型端到端測試等嚴格流程,確保計算資源的品質。
-
智慧資源管理:
- 基於Kubernetes(K8s)和Ray等底層分布式平台,實現了對計算資源(如K8s Pod、Ray Actor)的創建、刪除、重調度及動態擴縮容,優化資源利用率。
-
訓練加速(ATrainer/ATorch):
- 提供統一訓練入口和計算、顯存、通訊優化能力,以提升整體訓練吞吐量。
2.2 Flash Checkpoint (FlashCkpt)
FlashCkpt旨在解決傳統Checkpoints導致訓練停滯(stall)和故障恢復效率低下的問題:
- 異步持久化: 訓練Worker將模型和優化器狀態的Tensor分片拷貝到共享內存緩衝區。一個獨立的Launcher Main Process或Async Saver線程負責將共享內存中的數據異步刷寫到持久化存儲(如磁盤、NAS、CPFS),從而避免了Worker在等待持久化時的停頓。
- 內存熱加載: 當訓練因故障中斷後,新的Worker進程能夠從共享內存中快速熱加載最新的Checkpoints數據,大幅縮短了恢復時間。
- 「No pickle serialization」: 避免了Python pickle序列化帶來的性能開銷,提高了數據保存效率。
- 廣泛框架兼容性: 支援DDP/FSDP/DeepSpeed/Megatron等主流分布式訓練框架。
- ElasticAgent協同: 在Worker進程崩潰時,ElasticAgent負責觸發Checkpoints的保存,確保故障發生時也能保留最新狀態。
2.3 XPUTimer
XPUTimer是一個強大的可觀測工具,專注於大規模訓練過程中的性能診斷:
- 無感、低損耗的運行時插樁與跟踪:
- 透過
LD_PRELOAD機制加載libevent_hook.so共享庫,在應用層無入侵地劫持cudart、cublas和 Python 相關庫事件。 - 使用
cudaEvent實現微秒級的精確計時,針對矩陣乘(Matrix Multiplication)和集合通訊(Collective Communication,如NCCL)等關鍵操作進行性能採集,對訓練性能損耗極低。
- 透過
- 全面性能分析能力:
- 性能時間線(Profiling Timeline): 可視化CPU線程、GPU計算流和GPU通訊流的活動,幫助識別計算與通訊的瓶頸。
- 棧/火焰圖採集(Stack Dumping): 獲取詳細的調用棧信息,定位性能熱點和耗時函數。
- 異常診斷:
- 阻塞檢測(Hang Detection): 透過堆棧比對判斷所有rank是否都掛在集合通訊上,並利用二分法和通訊域診斷(如NCCL RAS)定位NCCL超時或死鎖問題。
- 慢速檢測(Slowdown Detection): 透過分析吞吐量下降、Kernel執行速度慢(伴隨FLOPS降級)、NCCL速度慢(伴隨帶寬降級)、延遲分布異常、不必要同步、數據阻塞或SMs佔用不足等指標,精準識別性能瓶頸。
- 架構設計:
libevent_hook在內部創建Tracing線程,將事件、指標和棧信息發送給Tracing Daemon,再由診斷引擎根據多維度數據進行健康度判斷和問題歸因。
- 技術優勢: 用戶無感、低損耗高精度、數據效率高(原始數據便於聚合)、輕量且接口友好,便於集成。
3. 商業價值和應用場景
DLRover及其相關技術解決了大規模AI模型訓練中的核心痛點,為企業帶來顯著的商業價值和廣闊的應用場景。
商業價值:
- 大幅降低訓練總體擁有成本(TCO):
- 減少資源浪費: 透過自動容錯和彈性訓練,減少因故障導致的GPU空閒或重複計算,最大化昂貴計算資源的利用率。
- 降低人力成本: 自動化的故障檢測、隔離與恢復,減少了SRE和MLOps團隊的人工干預需求,釋放人力投入到更有價值的創新工作中。
- 加速模型迭代週期: 提升有效訓練時長,加快模型從預訓練到微調再到上線的整個流程,縮短產品上市時間。
- 提升AI業務的競爭力:
- 支持更大規模模型: 使企業能夠穩定地訓練萬卡級別甚至更大型的模型,從而在模型性能和功能上取得領先優勢。
- 保障業務連續性: 穩定的訓練過程保障了企業對AI模型的持續優化和更新,為核心AI應用提供堅實基礎。
- 優化研發效率和體驗:
- 簡化複雜性: DLRover將底層分布式訓練的複雜性抽象化,為開發者提供統一、便捷的訓練入口,使他們能更專注於模型算法本身。
- 精準問題定位: XPUTimer提供深入的性能分析和故障診斷,加速開發者定位和解決性能瓶頸及潛在bug。
應用場景:
- 超大規模預訓練模型(LLMs Pre-training): 這是DLRover最直接的應用場景,尤其適用於訓練數百億乃至數萬億參數的基礎大模型,這些模型通常需要數百上千甚至萬塊GPU進行數週到數月的持續訓練。
- 大模型微調與部署(LLMs Fine-tuning & Deployment): 在基礎模型之上進行特定任務的微調,或將模型部署到實際應用中,DLRover的穩定性和效率同樣關鍵。
- 推薦系統和搜索業務(Search & Recommendation Systems): 此類業務通常需要不斷更新和訓練大型模型,以適應用戶行為和數據變化。DLRover的動態資源調度和彈性訓練能力,確保了模型在資源波動下的穩定更新。
- 多模態大模型訓練: 隨著AI向圖像、語音等多模態發展,模型規模和複雜度進一步提升,DLRover的通用性設計使其適用於各類大規模分布式訓練。
- 通用AI基礎設施提供商: 雲服務商、大型互聯網公司等擁有龐大AI集群的組織,可將DLRover作為其AI PaaS/IaaS的核心組件,向內部或外部用戶提供穩定可靠的AI訓練服務。
4. 創新亮點和技術突破
DLRover在解決超大規模AI訓練穩定性問題上,展示了一系列重要的創新與技術突破:
- 萬卡規模下的有效訓練時長提升至99%: 這是一個里程碑式的突破。傳統上,隨著集群規模的擴大,單點故障概率疊加,有效訓練時長會急劇下降。DLRover透過彈性訓練、預檢查和精準診斷的組合拳,將萬卡級別的複雜分布式訓練的有效運行時間提升至近乎完美的水平,這在全球範圍內都處於領先地位。
- 端到端的智能故障處理閉環:
- 主動預防: 透過組網與Precheck在訓練前和運行時進行前瞻性檢查,及早發現並規避硬體、網絡和環境問題。
- 實時診斷: XPUTimer以無感、高精度的方式實時監控訓練狀態,精準定位錯誤、掛起和變慢等異常,並提供豐富的診斷數據。
- 自動恢復: 彈性訓練和自動容錯機制,使DLRover能夠在檢測到故障後,無需人工介入,自動隔離故障節點、重調度資源、重啟進程並恢復訓練。
- 異步Checkpoints實現訓練無感恢復: Flash Checkpoint的異步持久化和內存熱加載機制,徹底解決了傳統Checkpoints對訓練進度造成的停滯問題。它將Checkpoints的I/O開銷從訓練關鍵路徑中分離出來,實現了快速、無縫的斷點續訓,極大減少了故障恢復的成本。
- 無入侵、低損耗的性能診斷工具XPUTimer:
- 用戶無感與框架解耦: 透過
LD_PRELOAD技術,XPUTimer無需修改用戶代碼或綁定特定訓練框架,實現了真正的「無入侵」監控。 - 高精度與低開銷: 採用
cudaEvent實現微秒級的計時精度,同時保持極低的性能開銷,確保診斷數據的準確性和實用性。這對於大規模、計算密集型訓練尤為關鍵。 - 多維度、深入的根因分析: 不僅僅是檢測到問題,XPUTimer還能結合時間線、火焰圖和堆棧信息,幫助開發者深入分析是計算瓶頸、通訊瓶頸、內存問題還是代碼邏輯導致的性能下降。
- 用戶無感與框架解耦: 透過
- 對異構計算硬體的良好兼容性: 簡報中DLRover在昇騰910B加速器上訓練PyTorch Llama-7B的案例,表明其設計具備良好的通用性和對非NVIDIA硬體的適配能力,這對於當前多元化的AI晶片生態至關重要。
- 開源策略推動行業標準: DLRover作為LF AI & Data Foundation的特色項目開源,不僅展示了其技術自信,也將吸引全球開發者共同參與改進,有望為大規模AI訓練穩定性樹立行業標準。
5. 趨勢洞察和未來展望
本次演講不僅展示了當前最前沿的大模型訓練技術,也深刻揭示了未來AI發展的幾個關鍵趨勢:
- AI模型規模的持續增長與「 Scaling Law 」的堅守:
- 簡報中清晰呈現了從BERT到GPT-4模型參數的指數級增長趨勢,並預期未來將有更大規模的模型。這表明「 Scaling Law 」(即增加模型規模、數據量和算力可以提升模型性能)仍將是AI發展的主旋律。因此,能夠穩定支撐萬卡乃至十萬卡規模訓練的基礎設施,將成為AI領域的核心競爭力。
- AI基礎設施的高度自動化與智能化:
- DLRover透過彈性訓練、自動容錯、自動資源配置和智慧診斷,將大規模AI訓練從高度依賴人工干預的模式轉變為高度自動化和智能化的模式。這預示著未來的AI基礎設施將更加「智慧」,能夠自我感知、自我修復、自我優化,極大降低運維複雜性。
- 可觀測性與診斷工具成為關鍵:
- 隨著分布式系統複雜度的提升,傳統的日誌和簡單監控已不足以診斷深度問題。XPUTimer這類無入侵、高精度的實時性能診斷工具將變得不可或缺。未來,更多集成GPU、網絡、CPU等多層次的可觀測性工具將成為AI工程師的「標配」,以應對各種「黑盒」性能問題。
- 異構計算生態的普及與平台適應性:
- 簡報中DLRover成功在昇騰910B上運行的案例,強調了平台對異構計算環境的適應性。隨著全球AI晶片競爭加劇,單一硬體供應商壟斷的局面將被打破,支持多種AI加速器和訓練框架的通用型平台將更具價值。
- 訓練效率與能源消耗的優化:
- 提高「有效訓練時長」不僅是技術挑戰,也關乎成本與環保。DLRover將萬卡規模的有效訓練時長提升至99%,這意味著相同工作量所需的總計算時間和能源消耗顯著降低。未來,AI訓練的「綠色」與「高效」將是重要的衡量標準。
- 開源與協作推動技術普惠:
- DLRover選擇開源,並加入LF AI & Data Foundation,這體現了行業對開源協作模式的認可。透過社區的力量,可以加速技術的普及、標準的建立和生態系統的成熟,讓更多企業和研究機構能夠受益於先進的AI訓練技術。
未來展望:
DLRover的實踐為未來超大規模AI模型的開發和應用繪製了藍圖。它不僅解決了當前的痛點,也為AI走向更廣闊的應用奠定了堅實基礎。展望未來,我們可以看到DLRover這類平台將會: * 進一步融合AIOps能力: 實現更強大的故障預測、自我優化和智慧決策。 * 支持更多模型類型與並行策略: 適應Transformer之外的新模型架構和更複雜的分布式訓練策略。 * 推動雲原生AI訓練的發展: 與雲計算平台深度融合,提供更靈活、高效、按需分配的AI訓練服務。 * 引領AI基礎設施的標準化: 透過開源,DLRover有望成為行業共識的穩定訓練解決方案之一,加速整個AI生態系統的成熟。
總而言之,DLRover的成功實踐,標誌著AI大模型訓練基礎設施正在從「能跑」階段邁向「穩定高效地跑」階段,為未來AI技術的規模化突破提供了關鍵支撐。