眼下，AI大模型正重塑著千行百業(yè)，也包括與之息息相關的算力產業(yè)鏈。

在AI芯片屹立風口之時，業(yè)內對存儲芯片、存儲設備的關注度也直線上升，HBM（高帶寬存儲）、近存計算等概念大熱。

(相關資料圖)

大模型建立在數(shù)據和算力之上，而海量數(shù)據需要更強悍的存儲性能，從而更好地釋放算力，因此在大模型的推動下，存儲產業(yè)正在新需求下升級變革。

近日，華為數(shù)據存儲產品線總裁周躍峰就向記者談到了存力的重要性：“大模型時代，數(shù)據決定AI智能的高度。作為數(shù)據的載體，數(shù)據存儲成為AI大模型的關鍵基礎設施。”

一直以來，計算、存儲和網絡被視為數(shù)據中心三大件，它們是關系緊密的有機體系，分別對應著算力、存力和運力。如今在算力蓬勃發(fā)展的同時，存力正越來越受到重視。近年來國內建設了諸多算力中心，現(xiàn)在的新趨勢是開始建設大量的存力中心。

大模型面臨的四大挑戰(zhàn)

打造AI大模型是一個復雜的系統(tǒng)過程，其間面臨著不少挑戰(zhàn)。在華為看來，企業(yè)在開發(fā)及實施大模型應用過程中存在四大挑戰(zhàn)。

首先，數(shù)據準備時間長，數(shù)據來源分散，歸集慢，預處理百TB數(shù)據需10天左右，這不利于系統(tǒng)的高效利用。

其次，如今大模型的規(guī)模越來越大，達到千億甚至萬億的參數(shù)級，訓練需要海量的計算資源和存儲空間。比如多模態(tài)大模型以海量文本、圖片為訓練集，但是當前海量小文件的加載速度不足100MB/s，訓練集加載效率低。

其三，大模型參數(shù)頻繁調優(yōu)，訓練平臺不穩(wěn)定，平均約2天出現(xiàn)一次訓練中斷，需要Checkpoint機制恢復訓練，故障恢復耗時超過一天。

最后，大模型實施門檻高，系統(tǒng)搭建繁雜，資源調度難，GPU資源利用率通常不到40%。比如，它需要非常專業(yè)的軟件、硬件甚至是維護工程師來進行實施并進行后續(xù)的維護。

可以看到，大模型的到來，給數(shù)據和存儲提出了新的要求。華為分布式存儲領域副總裁韓振興向21世紀經濟報道記者表示：“在AI剛興起的時候，針對小模型，很多客戶會找一些服務器的本地盤來解決。但是隨著大模型的興起，需要一個外置的非常靈活擴展的存儲。如果數(shù)據量載入過慢，會造成建設的算力都在閑置，所以需要一個不僅是外置的存儲，而是一個極高性能的新品類和解決方案?！?/p>

為了解決這些瓶頸，頭部的企業(yè)們已經開始牽頭進行產業(yè)界合作。近期，華為針對不同行業(yè)、不同場景大模型應用，推出OceanStor A310深度學習數(shù)據湖存儲與FusionCube A3000訓/推超融合一體機。

其中，前者是面向基礎/行業(yè)大模型場景，支持96閃存盤，帶寬可達400GB/s，IOPS達到1200萬；后者面向行業(yè)大模型的訓練、推理一體化的場景，集成了存儲、網絡、多樣性的計算，降低企業(yè)使用AI大模型的門檻。目前，華為的存儲產品已在國內的十大模型廠商得到部署，包括科大訊飛、中國科學院等。

據悉，目前全球高端的存儲設備廠商主要有三家，分別是華為、戴爾EMC和日立。隨著AI大模型日新月異，企業(yè)對于高端存儲的需求也將更進一步，華為、戴爾、日立等也將在存儲的頂級戰(zhàn)場上展開新一輪競爭。

業(yè)界呼吁重視存力建設

周躍峰向21世紀經濟報道記者算了一筆成本賬單：在AI的大模型訓練過程里，包括數(shù)據準備、接入實施等整體成本中，算力的成本占25%左右，即買服務器和GPU；數(shù)據準備、清洗與處理這些工作（包括人工）的成本大概占22%。

同時，周躍峰還舉了一個例子來說明存儲的重要性，由于英文的數(shù)字化記錄資料遠遠多于中文，ChatGPT訓練英文的效率比中文高很多。他表示，中國如果不重視存力，對未來AI的產業(yè)發(fā)展以及人工智能的潛力的發(fā)揮會有巨大制約作用。

數(shù)據顯示，預計2025年中國數(shù)據量將從7.6ZB增至48.6ZB，超過美國成為全球第一。當前，全球各國都在加快制定國家數(shù)據戰(zhàn)略，其中，存儲技術和產業(yè)成為共同關注的戰(zhàn)略重點。

雖然AI算力中心不斷興起，但是中國工程院院士、中國科學院計算技術研究所研究員倪光南指出，目前普遍對算力的理解有片面性，廣義算力不僅包括算力，還包括存力、運力。當前中國算力中心的存力相對不足，存在重算力輕存力的傾向。

韓振興也表達了類似觀點，他談道，在算力和存力的建設有一個最佳的算存比，并不是靠推算力就能把AI做好。算力建設過多、存力建設過少，這會導致算力閑置，造成資源的浪費。所以一定要去重視存力，達到一個最佳的整體算存比。

當前國內的存儲發(fā)展還跟不上數(shù)據量的增長。根據倪光南提及的一組數(shù)據，中國單位GDP的數(shù)據存儲量只有美國70%左右，而人均數(shù)據存儲量，美國是中國的9倍。美國為212GB/人，中國約為25GB/人，說明中國數(shù)據存儲產業(yè)大有可為、前景廣闊。

在業(yè)界呼吁關注存力建設的同時，國內在政策面也有了更多支持計劃。為進一步加快推動我國算力高質量發(fā)展，日前工信部新聞發(fā)言人趙志國表示，將出臺指導算力基礎設施高質量發(fā)展的政策文件，加大高性能智算供給，加強先進存儲產品部署，開展算力網絡優(yōu)化行動，加快構建云邊端協(xié)同、算存運融合的一體化、多層次的算力基礎設施體系。

以上為犀牛之星轉載內容，如有侵權，請聯(lián)系我們刪除。

關鍵詞