近日，全球权威AI性能评测组织公布最新MLPerf®Storage v2.0基准测试结果。由国家超级计算济南中心与华为技术有限公司协同研发优化的高性能存储系统，在三项核心性能指标上刷新世界纪录，位列全球第一。这意味着，在人工智能时代最核心的数据存储与传输能力上，我国自主研发的技术已经走在了世界最前列。
图片来源国家超级计算济南中心网站△
作为人工智能领域公认的存储性能“全球标杆”测试，MLPerf®Storage由国际MLCommons组织制定，其结果被全球顶尖超算中心、云计算厂商和AI实验室广泛采用并认可。
简单来说，这套系统就像是AI“超级大脑”的“数据高速公路”，负责把海量训练数据不间断地输送到成百上千张“计算显卡”中进行学习。它因速度之快、通道之多、单通道的承载能力之强创下多项新世界纪录——在3D U-Net训练测试中，单台存储设备的数据传输速度高达每秒698GiB/s，相当于1秒钟传完近700部高清电影；单位机架空间的传输能力达到每秒108GiB/s，也就是说同一个机架上的所有计算单元可以同时满速获取所需数据，不需排队等待数据；单个客户端的传输速度突破每秒104GiB/s，即便是一台计算设备单独工作，也能享受到全球最快的数据供应速度。三项核心指标全部位列世界第一，使我国在大规模AI训练的数据吞吐领域迈入国际领先行列。
单存储设备带宽达698 GiB/s，全球最快，较第二名提升4倍以上△
单位机架带宽108 GiB/s，空间利用率全球领先，较第二名高约35%△
单客户端带宽104 GiB/s，单机也能满速运行，比第二名快约30%△
除了“跑得快”，更难得的是，这套系统还解决了一个长期困扰大模型训练的“瓶颈”——断点续训，也就是AI学习中途“存档”和“读档”的能力。过去，存档速度慢，就像一场长途旅行中汽车加油，如果加油慢、油枪少，所有车辆都得排长队，浪费大量时间。而在AI大模型训练中，这个过程叫做“Checkpointing”，即随时保存训练进度、以便中断后快速恢复。济南超算与华为团队攻克了这一高并发读写下的性能瓶颈——在Llama3_70B模型训练测试中，单客户端的读写速度分别达到68.8 GiB/s和62.4 GiB/s，比国际同类技术快了6.7倍，相当于让加油站的油枪数量和加油速度实现了跨越式提升，让“加油”几乎不再成为瓶颈，大幅缩短了大模型训练时间，也降低了算力和运维成本。
Checkpointing读写速度全球领先，快过国际同类技术6.7倍△
国家超级计算济南中心主任王英龙介绍，双方的合作始终聚焦于国产化算力基础设施的核心需求，从存储系统的横向扩展，到与GPU算力的高效协同，再到数据安全与韧性保障，均取得了突破性进展。目前，这套领先的高性能存储系统已经具备EB级容量扩展能力，可支持多达4096张算力卡协同工作，并通过多维数据管理技术让数据流动效率提升10倍。同时，它在绿色节能方面也做出了创新，系统将高密度存储介质与低能耗设计相结合，在大幅提升性能的同时，减少了能源消耗和碳排放，为可持续发展的AI算力中心建设提供了范例。
自2020年合作启动以来，济南超算与华为存储团队坚持“科研攻关+产业应用”双轮驱动，先后发布《数据密集型超算应用白皮书》，共同参与IO500国际排名，多次在全球舞台展示国产存储技术的实力。本次MLPerf测试的佳绩，不仅证明国产存储系统已能从容应对万亿参数级大模型的训练需求，还将在医疗影像分析、气候模拟、遥感数据处理等关系民生与国家安全的重要领域广泛应用。
来源：天下泉城新闻客户端