近年來(lái)，隨著人工智能模型產(chǎn)業(yè)的快速發(fā)展，尤其是在Transformer結(jié)構(gòu)出現(xiàn)以后，AI大模型規(guī)模逐步提升。ChatGPT的問(wèn)世，更是掀起了一場(chǎng)“百模大戰(zhàn)”，大模型參數(shù)量實(shí)現(xiàn)了從億級(jí)到萬(wàn)億級(jí)的突破。
大模型時(shí)代，AI存力與算力同樣不容忽視 1 數(shù)據(jù)歸集速度慢且來(lái)源復(fù)雜，預(yù)處理階段難以實(shí)現(xiàn)統(tǒng)一訪問(wèn)。數(shù)據(jù)類(lèi)型多元復(fù)雜，服務(wù)協(xié)議多樣，傳統(tǒng)存儲(chǔ)面向單一數(shù)據(jù)類(lèi)型設(shè)計(jì)，難以以統(tǒng)一的方式進(jìn)行訪問(wèn)和處理，數(shù)據(jù)歸集流程慢。 2 海量小文件數(shù)據(jù)加載慢，存儲(chǔ)性能不足導(dǎo)致算力無(wú)法充分發(fā)揮。大模型對(duì)存儲(chǔ)系統(tǒng)的讀寫(xiě)性能要求較高，特別是在訓(xùn)練過(guò)程中需要頻繁地讀取和寫(xiě)入數(shù)據(jù)，而且需要支持快速的隨機(jī)訪問(wèn)。數(shù)據(jù)通常以圖片、文檔等小文件的形式存在，由于這些小文件的數(shù)量巨大，傳統(tǒng)存儲(chǔ)系統(tǒng)可能無(wú)法高效地處理這些數(shù)據(jù)，導(dǎo)致加載速度緩慢。 3 寶貴的研究數(shù)據(jù)，在各個(gè)階段面臨可靠性和安全性問(wèn)題。大模型通常使用敏感數(shù)據(jù)進(jìn)行訓(xùn)練和推斷，在存儲(chǔ)時(shí)需要保證數(shù)據(jù)的安全性和完整性，防止數(shù)據(jù)外泄、篡改或被惡意攻擊。一旦存儲(chǔ)數(shù)據(jù)損壞或丟失，可能會(huì)導(dǎo)致訓(xùn)練結(jié)果的丟失或者準(zhǔn)確性下降。 4 大容量存儲(chǔ)需求。大模型需要處理大量的數(shù)據(jù)，包括輸入數(shù)據(jù)和模型參數(shù)。這些數(shù)據(jù)往往非常龐大，需要大量的存儲(chǔ)空間來(lái)保存。
寶德PLStor GS9200是一款面向大模型多應(yīng)用場(chǎng)景，以性能為中心，具備高可靠、簡(jiǎn)單易用和豐富企業(yè)級(jí)功能等優(yōu)勢(shì)的領(lǐng)先并行存儲(chǔ)系統(tǒng)。其存儲(chǔ)集群支持無(wú)上限的大規(guī)模擴(kuò)展，可以輕松擴(kuò)展到EB級(jí)別，并能夠承載上萬(wàn)臺(tái)AI/異構(gòu)算力服務(wù)器，滿足大容量存儲(chǔ)需求。
極致性能 海量小文件高吞吐量、計(jì)算客戶(hù)端高讀寫(xiě) 寶德PLStor GS9200提供了業(yè)內(nèi)領(lǐng)先的基于os內(nèi)核程序優(yōu)化設(shè)計(jì)的原生客戶(hù)端，以一客戶(hù)端對(duì)多臺(tái)存儲(chǔ)節(jié)點(diǎn)的方式并行讀寫(xiě)數(shù)據(jù)，支持RDMA技術(shù)。整個(gè)系統(tǒng)能提供上TB/s級(jí)的吞吐帶寬。 在實(shí)際運(yùn)行中，寶德PLStor GS9200的單臺(tái)計(jì)算節(jié)點(diǎn)能夠充分利用自身的網(wǎng)絡(luò)吞吐極限能力，進(jìn)行數(shù)據(jù)讀寫(xiě)。例如，配置了400Gbps Infiniband網(wǎng)絡(luò)的PLStor GS9200單臺(tái)節(jié)點(diǎn)可以獲得≥45GB/s的讀寫(xiě)帶寬。寶德PLStor GS9200在性能測(cè)試中表現(xiàn)出色，相比于業(yè)內(nèi)友商和開(kāi)源系統(tǒng)，每塊Nvme-SSD在該系統(tǒng)中可以提供超過(guò)4.3GB/s的讀寫(xiě)性能，提升了150%；而每塊SATA硬盤(pán)的讀寫(xiě)性能超過(guò)120MB/s，提升了80%。 存算融合 多級(jí)存儲(chǔ)滿足不同階段的數(shù)據(jù)存儲(chǔ)需求 寶德PLStor GS9200采用存算融合的設(shè)計(jì)，可以整合計(jì)算節(jié)點(diǎn)內(nèi)的存儲(chǔ)資源，構(gòu)建全局命名空間的近線存儲(chǔ)池。這使得AI計(jì)算可以像訪問(wèn)本地資源一樣訪問(wèn)并行文件系統(tǒng)，實(shí)現(xiàn)文件共享和高并發(fā)讀寫(xiě)訪問(wèn)。通過(guò)存算融合的部署方案，可以實(shí)現(xiàn)靈活配置數(shù)量來(lái)擴(kuò)展GPU/CPU計(jì)算資源和存儲(chǔ)資源，以滿足動(dòng)態(tài)擴(kuò)展的業(yè)務(wù)需求。 數(shù)據(jù)安全無(wú)小事，軟硬實(shí)力兩手抓 寶德PLStor GS9200保證并行存儲(chǔ)系統(tǒng)在數(shù)據(jù)安全性、高并發(fā)讀寫(xiě)、高空間利用率三者皆得。它采用N+M糾刪碼來(lái)設(shè)置數(shù)據(jù)保護(hù)等級(jí)，并具備自動(dòng)故障檢測(cè)與恢復(fù)機(jī)制，實(shí)現(xiàn)硬件系統(tǒng)故障自動(dòng)快速恢復(fù)重建。系統(tǒng)同時(shí)支持智能快照功能，可以創(chuàng)建多達(dá)無(wú)限數(shù)量的基于增量歷史時(shí)間點(diǎn)拷貝。當(dāng)發(fā)生數(shù)據(jù)“軟”故障，比如軟件程序?qū)е碌臄?shù)據(jù)損壞、病毒破壞、意外刪除等，可以通過(guò)對(duì)合適的時(shí)間點(diǎn)標(biāo)記進(jìn)行“回滾”來(lái)快速恢復(fù)數(shù)據(jù)。此外，系統(tǒng)還支持權(quán)限控制列表ACL等功能，以及更多可靈活配置的文件訪問(wèn)權(quán)限控制選項(xiàng)，以滿足不同場(chǎng)景下的數(shù)據(jù)安全存儲(chǔ)和訪問(wèn)需求。 數(shù)據(jù)湖存儲(chǔ)多協(xié)議互通，實(shí)現(xiàn)平臺(tái)高效管理 寶德PLStor GS9200數(shù)據(jù)湖存儲(chǔ)支持塊、文件、對(duì)象、大數(shù)據(jù)等存儲(chǔ)協(xié)議，并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多種協(xié)議互通，可同時(shí)訪問(wèn)同一文件，避免因訪問(wèn)協(xié)議不同造成的數(shù)據(jù)拷貝。它還支持多協(xié)議同時(shí)讀寫(xiě)，無(wú)明顯語(yǔ)義損失，支持文件修改寫(xiě)、對(duì)象多段上傳等常用語(yǔ)義，無(wú)需配置額外的網(wǎng)關(guān)。同時(shí)數(shù)據(jù)可根據(jù)應(yīng)用需要在數(shù)據(jù)湖中進(jìn)行可視的流動(dòng)，簡(jiǎn)化數(shù)據(jù)歸集流程，實(shí)現(xiàn)統(tǒng)一平臺(tái)管理，大大提升業(yè)務(wù)與管理效率。
