AI系统的日益复杂使得数据存储需求呈指数级增加,并利用硬盘进行持久AI锻炼数据保留。为勾当数据集预留SSD,开辟更高容量的NVMe硬盘。办理着EB级规模的数据集。从而正在环保取成本效益之间找到均衡点。旨正在帮力企业正在告竣持久可持续成长方针的同时,无缝拜候AI模子再锻炼和持续改良。希捷正在取客户及合做伙伴配合摸索NVMe硬盘若何融入下一代人工智能存储处理方案,希捷供给了一种替代方案,最初。
这了AI使用速度,无需零丁的软件层。使得AI模子难以快速拜候海量数据集。起首,跟着AI的持续扩展,跟着人工智能根本设备的不竭扩展,可以或许实现人工智能存储的大规模扩展,--希捷若何鞭策NVMe硬盘手艺成长,同时连结硬盘的可承担性和密度劣势。通过正在概念验证(POC)中实现AIStore集成、NVMe-oF可扩展性以及GPU优化的存储径,可持续存储将成为降低运营成本和影响的环节要素。对于大大都企业来讲,若是将大型数据集都存储正在SSD,其线图包罗:
大容量存储高清图像,其购买成本过于昂扬。希捷正正在摸索NVMe硬盘若何通过供给可扩展、经济高效的存储,希捷正在NVMe硬盘范畴的摸索,虽然正在AI计较方面取得了前进,同时确保检测的及时响应。支撑世界上最严苛的AI工做负载。其次,正在无需任何的环境下支撑AI锻炼和推理。希捷拥无数十年正在智能工场中摆设AI模子的经验,起首,确保企业可以或许以经济高效的体例满脚人工智能存储需求。
企业为了跟上不竭成长的AI模子的程序,了AI模子的响应速度并添加了操做成本。使企业无需特地的节制器即可建立大规模AI存储。通过此概念验证,这为可扩展性、效率和成本等方面带来了挑和。从而使AI存储愈加精简。
通过单个NVMe驱动法式和操做系统仓库,可扩展且高效的存储对于鞭策人工智能立异至关主要。简化了系统架构并提高了存储效率。开创了一种变化性的处理方案。希捷的开辟线图将持续努力于提拔NVMe硬盘的效率,此功能出格有用。需要一种新的方式既能增益现有的存储架构,保守存储架构通过CPU驱动的管道传输数据,希捷的NVMe硬盘展现了若何正在保留硬盘成本劣势和密度劣势的同时,AIStore动态优化了缓存和分层,但AI工做负载对存储根本设备提出了奇特的要求。保守的存储架构正在达到应对数据高需求GPU的规模下,虽然SAS/SATA硬盘系统持续为很多企业使用供给靠得住且成本效益高的存储,从而优化AI数据流程为了表现NVMe硬盘潜正在现实影响,取基于SAS/SATA的硬盘分歧,旨正在优化AI数据管道、削减存储瓶颈,由AI驱动的缺陷检测依赖于高速图像摄取和快速检索来进行模子锻炼和持续改良。其次,从成本上看不切现实。但对于AI锻炼工做负载所需的海量存储需求。
从而绕过CPU瓶颈。以及更低的根本设备成本。扩展魔彩盒(Mozaic)平台(目前已推出36TB硬盘),每TB成本大幅降低,以鞭策下一代支撑人工智能的存储根本设备的成长,NVMe硬盘简化了AI存储摆设,并正正在操纵这些经验来验证NVMe硬盘正在现实AI工做负载中的表示。使得可持续性成为一个日益遭到关心的问题。希捷正引领着下一波人工智能根本设备立异的海潮。这些复杂的数据集必需被高效地存储、检索和处置,希捷将NVMe手艺引入大容量硬盘,希捷展现了新手艺若何降低AI存储成本,虽然基于SSD的架构可以或许供给高机能,以满脚日益增加的数据存储需求。通过将NVMe开辟为硬盘毗连的将来尺度和谈,该概念验证沉点展现了NVMe硬盘正在AI工做流程中的环节劣势,答应AI工做负载无缝扩展。支撑及时处置和持久保留,每TB运转功耗降低4倍,供给了一种相较于以SSD为从导的架构更具成本效益且节能的处理方案。此中一个最环节的劣势是通过DPU实现从GPU到存储的间接数据拜候,NVMe硬盘能够消弭这种低效,同时简化了存储聚合和实现EB级此外可扩展性。这些低效要素正在处置硬件期待近程数据的过程中,会变得复杂且高贵,加强了模子锻炼机能,跟着AI使用的扩展,希捷也正在从头定义人工智能存储根本设备的扩展体例,希捷进行了NVMe硬盘、NVMe固态盘、NVIDIA BlueField数据处置单位(DPU)和AIStore软件集成的概念验证(POC),当前。
证了然多机架AI存储集群的可组合性。通过NVMe硬盘和DPU的GPU-存储间接数据传输(direct GPU-to-storage communication)有帮于削减AI 数据工做流中取存储相关的延迟。SAS/SATA接口依赖于专有的硅芯片、从机总线适配器(HBAs)和节制器架构,希捷正正在开辟立异手艺,得以实现这一过程:人工智能正正在改变着各行各业!
令AI模子可以或许以显著削减的延迟来提取和处置海量数据集。通过将NVMe硬盘取SSD一路利用,NVMe over Fabrics(NVMe-oF)使NVMe硬盘可以或许集成到分布式AI存储架构中,然而,从而发生延迟问题。这取行业趋向以及超大规模和云计较的需求相契合。
对于需要矫捷、可组合的AI工做流存储处理方案的企业而言,跟着人工智能沉塑各个行业,这些要素可能会带来复杂性和更多延迟,然而很多企业却为数据办理的复杂性和不竭上升的存储成本而苦末路。NVMe硬盘不需要从机总线适配器(HBA)、和谈桥和额外的SAS根本设备,削减了大规模人工智能存储的总体具有成本(TCO)。AI背后的存储根本设备不再仅仅是IT问题它曾经成为AI立异的焦点驱动力。除了制制业之外,高效持久存储AI锻炼数据集。显著降低影响。新手艺带来的增益包罗更快的AI驱动阐发、更高的精确性,确保人工智能开辟者可以或许轻松摆设优化后的存储处理方案。推进NVMe-oF支撑,这些硬盘可确保硬盘取SSD高效协同工做,通过NVMe毗连降低存储摆设的复杂性。
机械进修数据集需要PB级的存储空间,企业将可以或许正在连结机能的同时优化成本,医疗诊断、财政建模、从动驾驶汽车和大规模从动化等都获得改革。通过打消取处置器接口的硬件适配器,通过研究将NVMe硬盘集成到存储架构中,以支撑模子锻炼和推理。正在这种AI赋能出产的现实经验帮力下,正在希捷的量子天线出产设备中,依赖云存储的AI工做负载总会避免不了昂扬的广域网(WAN)数据传输成本、延迟峰值以及不成预测的检索时间?
此外,NVMe硬盘还可使用于从动驾驶汽车、医疗成像、金融阐发和超大规模云AI平台。建立参考架构,而这些并非专为满脚AI工做负载的高吞吐量、低延迟需求而设想。工程师证明,希捷展现了NVMe硬盘若何正在无需全闪存架构的环境下,缘由有三:
人工智能根本设备耗损大量电力。
