在數(shù)據方面,人工智能就像吃豆人。硬盤驅動器,NAS,常規(guī)數(shù)據中心和基于云的存儲方案無法滿足AI對速度和容量(特別是實時性)的狂熱需求。如今玩游戲需要對存儲進行根本性的重新思考,以此作為機器學習,深度學習,圖像處理和神經網絡成功的基礎。
“ AI和大數(shù)據正在主導決策和運營的各個方面,”全閃存存儲和服務提供商Vast Data的產品副總裁兼聯(lián)合創(chuàng)始人Jeff Denworth說。“對大量快速數(shù)據的需求使傳統(tǒng)的存儲金字塔已過時。將新思想應用于許多最棘手的問題,有助于實時地簡化存儲和訪問大量數(shù)據儲備的工作,從而獲得前所未有的見解。”
人工智能推動存儲激增
各種新技術和體系結構正在重塑存儲,這些新技術和體系結構可以提供各種類型的AI所需的高帶寬,大容量,快速I / O,低延遲和靈活的可伸縮性。其中的關鍵是固態(tài)磁盤(SSD),閃存驅動器和緩存軟件,NVMe,DAOS,存儲類內存(SCM),以及諸如Intel Optane介質之類的混合設備,它們可以縮小存儲與內存之間的差距。
像5G,物聯(lián)網,流分析以及AI時代其他速度和數(shù)據魔鬼一樣的進步推動了全球存儲需求的激增。
麥肯錫表示,到2025年,全球AI應用程序所需的合并存儲將增長十倍,從每年80艾字節(jié)增加到845艾字節(jié)。(Exabyte = 1,048,576 TB)。這表示細分市場每年增長25-30%。醫(yī)療保健,有54%采用AI的預測到2023年,將是一個主要驅動力,因為在許多行業(yè)將AI和DL培訓。
“優(yōu)化的AI和ML工作流程需要在計算,內存和存儲之間達到適當?shù)钠胶猓?rdquo;Moor Insights&Strategy創(chuàng)始人Patrick Moorhead說道。“關于優(yōu)化的ML計算的討論很多,但關于存儲的討論卻不多。”這種情況正在迅速改變。
“喂我-現(xiàn)在!”容量和帶寬是關鍵原因很簡單:人工智能應用程序消耗并生成令人難以置信的數(shù)據量-每個項目最多數(shù)百PB或更多。
例如,英特爾研究表明:一家智能醫(yī)院將每天產生3,000 GB自動駕駛汽車每天將產生超過4,000 GB的流量聯(lián)網飛機每天將產生5,000 GB相連的工廠每天將產生100萬GB考慮:識別一個男人或女人的簡單面部識別大約需要1億張圖像。所需的8位文件的總存儲量最大為4.5 PB。
但這不只是數(shù)量龐大。這些海量數(shù)據通常依賴實時分析以使其有價值。不幸的是,提供GPU和其他需要大量數(shù)據的AI計算節(jié)點的能力和經濟性遠遠超過了硬盤驅動器。
通過一個64KB的計算,大約需要5,000個HDD來提供使運行速度為20GB / s的GPU服務器達到飽和所需的隨機讀取IOP / S。(相比之下,NVMe閃存驅動器可提供高達此工作負載1000倍的性能。)
另一個難題:人工智能工作負載通常起源于邊緣或網絡分支,而不是集中式數(shù)據中心。這給組織帶來了額外的架構挑戰(zhàn),組織必須借助臨時的云爆發(fā)或永久的云基礎架構來應對內部容量的建設。不管它們在哪里運行,“ AI工作負載都呈現(xiàn)出波動的訪問模式,可變的讀/寫混合以及不斷變化的塊大小,這些都需要高吞吐量和極低的延遲,”英特爾存儲市場經理Roger Corell說。