眼下，AI大模型正重塑著千行百業，也包括與之息息相關的算力產業鏈。
在AI芯片屹立風口之時，業內對存儲芯片、存儲設備的關注度也直線上升，HBM（高帶寬存儲）、近存計算等概念大熱。
(相關資料圖)
大模型建立在數據和算力之上，而海量數據需要更強悍的存儲性能，從而更好地釋放算力，因此在大模型的推動下，存儲產業正在新需求下升級變革。
近日，華為數據存儲產品線總裁周躍峰就向記者談到了存力的重要性：“大模型時代，數據決定AI智能的高度。作為數據的載體，數據存儲成為AI大模型的關鍵基礎設施。”
一直以來，計算、存儲和網絡被視為數據中心三大件，它們是關系緊密的有機體系，分別對應著算力、存力和運力。如今在算力蓬勃發展的同時，存力正越來越受到重視。近年來國內建設了諸多算力中心，現在的新趨勢是開始建設大量的存力中心。
大模型面臨的四大挑戰
打造AI大模型是一個復雜的系統過程，其間面臨著不少挑戰。在華為看來，企業在開發及實施大模型應用過程中存在四大挑戰。
首先，數據準備時間長，數據來源分散，歸集慢，預處理百TB數據需10天左右，這不利于系統的高效利用。
其次，如今大模型的規模越來越大，達到千億甚至萬億的參數級，訓練需要海量的計算資源和存儲空間。比如多模態大模型以海量文本、圖片為訓練集，但是當前海量小文件的加載速度不足100MB/s，訓練集加載效率低。
其三，大模型參數頻繁調優，訓練平臺不穩定，平均約2天出現一次訓練中斷，需要Checkpoint機制恢復訓練，故障恢復耗時超過一天。
最后，大模型實施門檻高，系統搭建繁雜，資源調度難，GPU資源利用率通常不到40%。比如，它需要非常專業的軟件、硬件甚至是維護工程師來進行實施并進行后續的維護。
可以看到，大模型的到來，給數據和存儲提出了新的要求。華為分布式存儲領域副總裁韓振興向21世紀經濟報道記者表示：“在AI剛興起的時候，針對小模型，很多客戶會找一些服務器的本地盤來解決。但是隨著大模型的興起，需要一個外置的非常靈活擴展的存儲。如果數據量載入過慢，會造成建設的算力都在閑置，所以需要一個不僅是外置的存儲，而是一個極高性能的新品類和解決方案。”
為了解決這些瓶頸，頭部的企業們已經開始牽頭進行產業界合作。近期，華為針對不同行業、不同場景大模型應用，推出OceanStor A310深度學習數據湖存儲與FusionCube A3000訓/推超融合一體機。
其中，前者是面向基礎/行業大模型場景，支持96閃存盤，帶寬可達400GB/s，IOPS達到1200萬；后者面向行業大模型的訓練、推理一體化的場景，集成了存儲、網絡、多樣性的計算，降低企業使用AI大模型的門檻。目前，華為的存儲產品已在國內的十大模型廠商得到部署，包括科大訊飛、中國科學院等。
據悉，目前全球高端的存儲設備廠商主要有三家，分別是華為、戴爾EMC和日立。隨著AI大模型日新月異，企業對于高端存儲的需求也將更進一步，華為、戴爾、日立等也將在存儲的頂級戰場上展開新一輪競爭。
業界呼吁重視存力建設
周躍峰向21世紀經濟報道記者算了一筆成本賬單：在AI的大模型訓練過程里，包括數據準備、接入實施等整體成本中，算力的成本占25%左右，即買服務器和GPU；數據準備、清洗與處理這些工作（包括人工）的成本大概占22%。
同時，周躍峰還舉了一個例子來說明存儲的重要性，由于英文的數字化記錄資料遠遠多于中文，ChatGPT訓練英文的效率比中文高很多。他表示，中國如果不重視存力，對未來AI的產業發展以及人工智能的潛力的發揮會有巨大制約作用。
數據顯示，預計2025年中國數據量將從7.6ZB增至48.6ZB，超過美國成為全球第一。當前，全球各國都在加快制定國家數據戰略，其中，存儲技術和產業成為共同關注的戰略重點。
雖然AI算力中心不斷興起，但是中國工程院院士、中國科學院計算技術研究所研究員倪光南指出，目前普遍對算力的理解有片面性，廣義算力不僅包括算力，還包括存力、運力。當前中國算力中心的存力相對不足，存在重算力輕存力的傾向。
韓振興也表達了類似觀點，他談道，在算力和存力的建設有一個最佳的算存比，并不是靠推算力就能把AI做好。算力建設過多、存力建設過少，這會導致算力閑置，造成資源的浪費。所以一定要去重視存力，達到一個最佳的整體算存比。
當前國內的存儲發展還跟不上數據量的增長。根據倪光南提及的一組數據，中國單位GDP的數據存儲量只有美國70%左右，而人均數據存儲量，美國是中國的9倍。美國為212GB/人，中國約為25GB/人，說明中國數據存儲產業大有可為、前景廣闊。
在業界呼吁關注存力建設的同時，國內在政策面也有了更多支持計劃。為進一步加快推動我國算力高質量發展，日前工信部新聞發言人趙志國表示，將出臺指導算力基礎設施高質量發展的政策文件，加大高性能智算供給，加強先進存儲產品部署，開展算力網絡優化行動，加快構建云邊端協同、算存運融合的一體化、多層次的算力基礎設施體系。
以上為犀牛之星轉載內容，如有侵權，請聯系我們刪除。
