🏷️ 技術趨勢分類
- 大型模型 (LLM) 的深度應用與效能優化 (相關度: 0.95)
- AI Agent 技術的全面普及與智慧化演進 (相關度: 0.85)
- AI 賦能軟體工程與人機協同創新 (相關度: 0.75)
報告內容
構建面向大模型的安全治理體系與應用實踐:綜合分析報告
報告概述
本報告根據作業幫高級架構師張浩然在「2025 AICon Beijing」主題演講「構建面向大模型的安全治理體系與應用實踐」的PPT內容,進行全面的綜合分析。該演講深入探討了在大模型時代背景下,資訊安全領域所面臨的嚴峻挑戰,並詳述了作業幫如何運用大模型、檢索增強生成(RAG)和智能Agent等先進技術,構建一套高效、智能且自動化的安全治理體系,並透過實際應用案例展示其卓越成效。
1. 會議概述和核心內容
本次演講旨在分享作業幫在資訊安全領域,特別是面對人工智慧(AI)大模型所帶來的雙重機遇與挑戰下,如何創新性地建立其安全防禦與運營體系。核心內容聚焦於以下幾個方面:
- 背景與挑戰: 闡明隨著AI工具普及,攻擊威脅呈現組織化、產業化,攻擊門檻降低,效率指數級增長。企業內部業務場景多元、員工規模龐大、智能設備接入增加,使得現有三層防禦體系(網絡、傳輸、終端)面臨巨大壓力。主要挑戰在於:1) 海量無效告警佔用大量人力,導致處置效率低下;2) 告警判斷高度依賴安全專家的專業經驗與複雜的場景判斷,難以標準化和自動化。
- 大模型與治理體系建設: 提出傳統安全運營模式(人工+規則)已無法應對挑戰,引入智能安全運營模式(推理模型+RAG+Agent)勢在必行。詳細解釋了如何克服通用大模型固有的「幻覺」、推理能力不足和知識匱乏等問題,透過RAG技術(結合向量檢索與關鍵詞增強)和智能Agent實現高效、精準、自動化的決策與處置。數據飛輪(PDCA循環)機制被引入,確保系統的可持續優化。
- 應用實踐與效果收益: 以「威脅流量檢測」為例,展示了新體系如何結合多維上下文進行場景化威脅檢測,提供智能治理建議。成果數據顯示,人工介入量大幅減少(日均從千條降至10條以內),處置時間從小時級縮短至分鐘級,自動化率高達99.99%,告警召回率從89.1%提升至99%+,複雜安全決策準確率提升18.7%。最終,安全防禦體系達到SOMM模型中最高的韌性級(LEVEL 4)。
- 總結與展望: 強調新體系的核心價值在於「可持續優化、智能化、自動化」,並展望未來將進一步深化AI實踐,擴展多場景應用,並透過數據飛輪持續提升系統智能化水平。
2. 技術要點和實現細節
作業幫構建的面向大模型的安全治理體系,其技術實現精巧且層次分明,充分體現了對大模型潛力與局限性的深刻理解。
-
克服大模型固有局限: 演講明確指出了通用大模型在安全領域應用的挑戰,包括幻覺(非事實性回應)、推理邏輯斷層(多步推導難以關聯上下文)、數據過時及特定知識匱乏。為此,其核心技術選型並非簡單地調用大模型,而是採用了協同智能解決方案:
- 推理模型: 選用Deepseek等長推理大模型作為基座,旨在突破傳統大模型在複雜多步驟邏輯推理方面的瓶頸,確保上下文邏輯關聯的一致性。這表明其對底層模型的選擇是基於對特定任務能力(長推理、邏輯一致性)的考量。
- 檢索增強生成 (RAG): 這是解決大模型幻覺與知識匱乏的核心。透過多路召回策略(結合向量檢索與關鍵詞檢索),從內外部知識庫中精準高效地檢索相關信息,並以「最小指令設計」引導大模型依據檢索到的事實生成答案,顯著降低幻覺。
- 智能Agent: 作為執行層,Agent負責將大模型的決策轉化為實際行動,實現安全運營的閉環。它能自動執行殺毒、發起工單、誤報加白、添加黑名單等操作,極大地提升了自動化水平。
-
實時報警處置技術架構: 整個流程設計嚴謹,確保從告警產生到處置的快速與精準:
- 原始報警數據標準化: 從海量日誌中提取時間、ID、IP、威脅特徵等核心字段。
- 完善補充關鍵信息: 動態調用「情報Agent」進行數據增強,區分內外網、定位責任方、識別設備、評估威脅級別,為後續決策提供豐富上下文。
- 向量化 (Embedding): 使用BGE-M3模型將報警信息轉換為高維向量,以便進行語義相似度檢索。BGE-M3模型以其在語義捕捉和泛化能力方面的優勢被選用。
- 多路召回: 結合了語義層面的向量檢索和精確匹配的關鍵詞檢索,確保全面且精準地召回歷史相似案例和相關知識。
- 大模型處置: 採用「最小指令方式」,即明確指示大模型主要依賴召回的參考內容進行推理,而非自由發揮,進一步限制幻覺。
- 多模型交叉驗證: 引入多個基座大模型(如Deepseek, QWEN, GPT-4)對決策結果進行比對。結果一致則採納,出現分歧則進行互驗或轉交人工處理,顯著提升了決策的可靠性。
- Agent自動化執行: 將驗證後的決策自動執行,完成安全事件的響應與處置。
- 反饋優化數據庫: 人工處理的案例自動入庫,對已有相似案例則優化召回策略和規則邏輯,形成持續學習和改進的循環。
-
知識庫構建與數據飛輪: 這是系統可持續優化的基石。
- 知識庫構建: 透過「數據打標 → 文本分塊 → 向量化 → 知識入庫」的標準流程,將歷史報警數據、處置經驗、SOP等結構化與非結構化知識進行整合。其中,「人工審核」作為關鍵環節,確保數據標註的準確性和知識的質量。
- 數據飛輪(PDCA循環): 系統的核心運營理念,透過離線與在線數據的持續循環實現自我提升:
- P (Plan/Predict): 透過上下文補充和歷史案例追溯,形成對潛在威脅的預判。
- D (Do/Decide): 大模型進行智能決策,並透過多模型交叉驗證增強可靠性。
- C (Check/Control): Agent執行自動化處置,同時對非確定結果進行人工審核。
- A (Act/Adjust): 人工審核的結果和新的處置案例反饋至知識庫,優化數據質量、召回策略和模型邏輯,不斷完善系統。
3. 商業價值和應用場景
該安全治理體系不僅是技術創新,更為企業帶來了顯著的商業價值和廣闊的應用前景:
- 大幅提升運營效率,降低成本:
- 人力成本降低: 通過高達99.99%的自動化率,將人工介入從日均1000條告警降低至10條以內,相當於減少了99%的人力工作量。這意味著安全運營團隊可以將有限的人力投入到更具戰略意義、更複雜的威脅分析和攻防演練中,而非疲於應對海量噪音。
- 處置時間縮短: 從小時級響應縮短至分鐘級,極大提升了安全事件的響應速度和止損能力,減少了潛在損失。
- 顯著增強安全防禦能力與準確性:
- 提升檢測召回率: 告警召回率從傳統人工方式的89.1%提升至99%+,確保關鍵安全威脅不被遺漏,有效降低了「漏報」風險。系統採取「激進策略」優先提高召回率,輔以高效人工復核,達到了高覆蓋與高精度的平衡。
- 提升決策準確率: 複雜安全決策準確率提升18.7%,顯著優於傳統規則算法和通用大模型,減少了「誤判」風險,避免不必要的資源浪費和業務干擾。
- 應對複雜威脅的能力增強: 大模型的推理能力和RAG的知識整合能力,使得系統能夠處理傳統規則引擎難以應對的複雜、多變的攻擊場景。
-
實現安全運營的成熟度飛躍:
- 達到SOMM Level 4 (韌性級): 這是安全運營成熟度模型的最高級別,標誌著作業幫的安全防禦體系具備高度的自動化、智能化、預測性和自我修復能力。這不僅提升了企業的風險管理能力,也為其在行業內建立了領先的安全形象。
- 建立可持續優化的機制: 數據飛輪機制保證了系統能從每次處置中學習,不斷提升自身能力,使其安全防禦能力與時俱進,能夠更好地適應不斷演變的威脅環境。
-
應用場景:
- 威脅流量檢測: 這是簡報中展示的典型應用場景,系統能夠結合多維上下文(時段特徵、安全域、業務環境、設備類型等)進行精準分析和場景化威脅檢測,自動生成智能治理建議。
- 潛在擴展場景: 考慮到其通用性,該體系可推廣至更廣泛的安全治理需求,例如:
- 漏洞管理: 結合漏洞情報和企業資產上下文,自動判斷漏洞危害性並生成修復建議。
- 身份與訪問管理(IAM): 自動分析異常登錄行為,提供權限調整建議。
- 數據防洩漏(DLP): 識別敏感數據傳輸異常,自動觸發阻斷或告警。
- 安全合規審計: 根據內部規範和外部法規,自動檢查系統配置和操作行為的合規性。
- AIGC內容安全審核: 由於作業幫的教育業務特性,對AIGC內容的生成安全和合規性審核將是極其重要的應用方向。
4. 創新亮點和技術突破
作業幫的方案不僅僅是「應用大模型」,而是在複雜的安全場景下,對大模型技術進行深度融合與創新性開發,體現出以下幾個創新亮點和技術突破:
- RAG與Agent的深度協同: 這是將大模型從通用能力轉化為行業特定解決方案的關鍵。通過RAG賦予大模型準確的企業內部知識和時效性數據,同時利用Agent實現決策的自動執行,形成了知識獲取、智能決策到實際執行的完整閉環,突破了傳統大模型在業務落地中的「幻覺」和「執行力」瓶頸。
- 多模型交叉驗證機制: 針對大模型生成結果的「不確定性」,引入多個基座大模型進行交叉驗證,顯著提升了決策的魯棒性和準確性。這是一種在保障安全決策高可靠性方面的務實且高效的創新。
- 數據飛輪與持續優化: 將PDCA循環理念融入安全治理,構建了「離線&在線數據飛輪」。這一機制確保了系統能夠從每一次報警處置中學習,通過人工反饋不斷優化知識庫、召回策略和模型表現,使其安全防禦能力具備自我演進和持續適應威脅變化的能力。這超越了單純的技術棧堆疊,上升到運營層面的創新。
- BGE-M3模型在安全領域的精準應用: 選擇並優化BGE-M3模型進行向量化,確保了在海量、複雜安全日誌中語義信息的精準捕捉和高效檢索。這表明在底層技術選型上,充分考慮了安全領域數據的特性。
- 可量化的效率與準確率提升: 能夠提供精確的數據(如99.99%自動化率、18.7%準確率提升、99%+召回率),證明其創新不僅是概念層面,更是經過實踐驗證、效果顯著的技術突破。
- SOMM Level 4的達成: 達到安全運營成熟度模型的最高級別,這是一個業界公認的標誌性成就,表明其安全治理體系在自動化、智能化和彈性方面均已達到國際領先水平,為其他企業樹立了典範。
5. 趨勢洞察和未來展望
本次演講不僅展示了作業幫的成功經驗,也為整個資訊安全行業揭示了未來發展的關鍵趨勢:
- AI驅動安全(AI-driven Security)成為主流: 隨著AI技術,特別是大模型的飛速發展,將AI融入安全運營已是大勢所趨。傳統的基於簽名、規則和人工分析的安全模式已無法有效應對當前規模化、智能化的威脅。未來,AI將從輔助工具轉變為安全決策和執行核心。
- RAG是企業級LLM應用的關鍵: 通用大模型的幻覺和知識滯後問題,使其難以直接應用於需要高精準度、事實依據和特定領域知識的企業場景。RAG技術已證明是解決這一痛點的有效方案,它使得企業能夠在利用大模型強大推理能力的同時,確保決策的準確性和可信賴性。未來,RAG的優化(多路召回、重排、指令工程)將是各行業深化AI應用的重點。
- 從被動防禦到主動、智能、自動化的安全運營: 該體系從處理海量告警的「消防員」模式,轉變為能夠自動識別、自動響應、並持續優化學習的「智能預警系統」。這種轉變代表著安全運營從被動響應向主動預防、自動治理的演進。Agent的應用是實現這一轉變的核心執行層。
- 人機協作模式的升級: AI系統處理絕大多數中低危告警和重複性工作,將安全專家從繁重的工作中解放出來。未來,人類專家的角色將更多地聚焦於AI系統的監管、調優、應對極端未知威脅、以及戰略性的安全規劃和威脅情報分析,實現更高層次的人機協同。
- 數據資產與知識庫的重要性凸顯: 該體系的核心是其背後的知識庫和數據飛輪機制。高質量的歷史數據標註、結構化的知識入庫、以及持續的數據反饋與優化,是大模型在特定領域發揮作用的基石。企業的數據資產將成為其安全智能化的核心競爭力。
- 面向更廣泛場景的AI安全應用: 作業幫的成功經驗將激勵更多行業和企業探索AI在不同安全場景中的應用,包括雲安全、物聯網(IoT)安全、數據隱私保護、合規審計等。隨著端側智能和多模態大模型的發展,安全分析將更加全面、細緻。
- 未來發展方向: 作業幫提出的「多場景擴展」和「持續數據飛輪優化」方向,精準地捕捉了AI安全領域的未來趨勢。持續投入數據積累、模型優化和場景拓展,將是維持其領先地位並推動行業進步的關鍵。
總之,作業幫的案例為我們展示了一幅清晰的藍圖:在大模型時代,透過深思熟慮的技術整合與運營策略,資訊安全不再是一個被動承受攻擊的成本中心,而是一個能夠主動防禦、高效治理、持續進化的智能防禦堡壘。這對於所有面臨相似安全挑戰的企業而言,都具有重要的參考價值和啟示意義。