在人工智能加速賦能千行百業的關鍵階段，大模型正成為驅動產業智能化轉型的核心引擎。隨著 AI 應用從技術突破邁向深度落地，新型算力體系對資源調度效率、系統穩定性與運行安全提出更高要求。

為應對新型算力帶來的運維挑戰，近日，浪潮通信信息發布智算集群可觀測解決方案，以全棧式、智能化觀測能力，為各行業推進人工智能部署和運營提供堅實支撐。

“一橫一縱”，構建全棧可觀測能力

浪潮智算集群可觀測解決方案，以“一橫一縱”為核心框架，通過構建橫向應用追蹤與縱向資源穿透的雙重觀測體系，實現對大模型系統的全鏈路、全層級智能洞察，為AI算力平臺注入精細化運維能力。

“一橫”業務行為觀測，橫向感知系統全流程

“一橫”聚焦大模型應用行為的全鏈路追蹤，通過Agent實現從服務拓撲、響應耗時、Token使用、成本統計到輸入輸出鏈路的全過程觀測，全面還原調用生命周期，支持模型調優與故障排查。系統支持對多輪對話上下文的聚合分析，幫助運維人員快速還原交互過程、識別性能瓶頸；同時，結合用戶Token消耗、資源成本等維度，提供用戶行為畫像，實現體驗優化與成本控制的協同提升。

“一縱”集群資源觀測，縱向穿透運行狀態

“一縱”著眼于大模型集群運行狀態的縱向穿透監控，構建從“大模型集群-計算服務-計算節點-GPU資源”的資源拓撲與依賴鏈。在集群總體層面，系統支持健康評分、告警分析與實時日志聯動，全面掌握系統狀態。在細粒度維度，可深入至計算服務、節點甚至每塊GPU，對顯存使用、Token吞吐、緩存命中率、請求成功率、響應延遲等核心指標進行精細化監測與下鉆分析。通過橫縱協同，方案實現了對系統運行狀態的全棧把控，極大提升了大模型系統的運維可視性與調優精度。

技術創新，打造“看得清、追得準、控得穩”的能力閉環

浪潮智算集群可觀測解決方案的卓越性能，得益于在智能診斷與底層監控技術上的持續創新，多項技術達到國內領先乃至國際先進水平，為大模型運維提供了堅實的技術支撐。

智能診斷引擎，精準識別因果。基于因果推理算法構建的知識圖譜系統，可對海量監測點之間的因果關系進行建模與計算，支持跨層級、多維度的指標數據關聯分析。在實際應用中，如某醫療影像模型因知識庫更新延遲引發權重漂移，曾被誤判為硬件故障，智能診斷引擎則能快速識別真實因果鏈，提升排障效率并主動預測風險。

eBPF內核級監控，納秒級精度。采用基于eBPF的內核級監控方案，可對GPU顯存分配、數據傳輸等12類關鍵操作進行納秒級追蹤（精度±15ns），覆蓋超98%的GPU行為。通過內核態指令掛鉤、智能采樣與RDMA傳輸，有效實現時間、空間與語義的精確關聯，并將系統開銷控制在5%以內。某自動駕駛企業部署后，成功提前14小時預警顯存耗盡，避免高價值訓練任務中斷。

向量化日志引擎，高效追溯。針對大模型系統中復雜的非結構化日志，方案引入向量化日志引擎，將日志上下文編碼為高維向量進行存儲和檢索，支持時空聯合索引。在千萬級向量庫中可實現3毫秒以內響應，異常召回率高達98.3%，遠超傳統正則匹配的64%。有效解決了傳統日志系統在狀態連續性、索引效率與存儲成本控制方面的諸多難題。

目前，浪潮智算集群可觀測解決方案已在金融、通信、醫療、制造等多個重點行業實現落地。某頭部量化投資機構引入該方案后，其GPU集群故障率下降97%，模型訓練周期縮短近六成，顯著提升了研發效能與資源利用率。

該方案不僅為企業實現智能化運維和算力成本優化提供了可靠手段，也為推動算力資源均衡調度、構建統一可管可控的AI基礎設施平臺探索了可行路徑。未來，浪潮通信信息將繼續深耕智能運維領域，打造更安全、更高效、更智能的算力支撐能力，為我國人工智能產業的高質量發展注入持續動能。