欢迎访问中国企业网
当前位置:首页 > 科技 > 正文

IO500基准测试:性能与简易兼得

发布时间:2025-07-15 15:08分类: 科技 浏览:63评论:0


导读:2倍的性能,1/8的基础设施。专为AI和HPC构建,且不失简洁。“企业AI需要简洁性,但不能以基础设施蔓延为代价。Hammerspace证明有更好的方法。性能提升2-3倍,硬件减少...
2倍的性能,1/8的基础设施。专为AI和HPC构建,且不失简洁。
“企业AI需要简洁性,但不能以基础设施蔓延为代价。Hammerspace证明有更好的方法。性能提升2-3倍,硬件减少93%。”


摘要

  • Hammerspace在IO500 10节点挑战赛中取得了是VAST两倍的得分和三倍的带宽——而Hammerspace仅使用了 9 个节点,VAST则使用了 128 个节点。这证明了Hammerspace能够在更少的硬件、更低的功耗和更小的基础设施复杂性下提供更高的性能,从而便于部署和管理。

  • Hammerspace在10节点挑战赛中,IOEasy写入和IOEasy读取得分均位列前10名


Hammerspace最近首次参加了ISC 2025的IO500基准测试,结果不言而喻。我们使用简单、基于标准的数据平台架构,提供了HPC级并行文件系统性能。客户端通过标准pNFS访问——无需专有软件,只需Linux内置功能。

企业AI团队在构建数据基础设施时,正在优先考虑简洁性。但在许多情况下,简洁性伴随着隐性成本:分离式和横向扩展NAS系统需要更多的基础设施才能达到性能目标——并且随着存储节点数量的增加,常常会遇到可扩展性限制。这些解决方案可能看起来易于使用,但它们为了易用性而牺牲了效率和可扩展性。

Hammerspace证明您不必在简洁性和效率之间做出选择。我们的架构提供了与HPC并行文件系统媲美的性能——无需奇特的存储、定制的网络或大规模服务器蔓延。结果:高性能、低摩擦,以及一条清晰的 AI 就绪之路——基于您现有的基础设施。

IO500 基准测试

IO500是一个开放的基准测试套件,旨在评估存储系统如何处理常见的科学和HPC工作负载。超大规模计算、新型云服务提供商和企业在构建其 AI 基础设施时,正在密切关注该测试。

这些测试从带宽和元数据性能两方面衡量系统,以提供一个全面的视图。详细的测试结果被归结为三组数字:带宽、IOPS值和总分数。

基准测试结果与讨论

Hammerspace 结果,10 节点研究集群 ISC25

查看“10 节点研究”列表,Hammerspace 与 Lustre、Spectrum Scale、WekaFS 和 BeeGFS 等传统 HPC 文件系统并驾齐驱——这些系统通常在高度定制的环境中针对峰值“英雄”数字进行调优。但我们的结果讲述了一个不同的故事,而且该结果是完全可重现。
网址:https://io500.org/list/isc25/ten

Hammerspace使用标准 Linux、标准以太网网络、标准NVMe存储服务器和单个元数据控制器提供了领先的性能。没有定制硬件。没有奇特的网络。没有私有客户端。甚至我们的元数据搜索也使用了IO500源代码编译的默认 Linux “pfind”命令——而不是经过基准测试优化的变体。


这项基准测试验证了一个关键转变:企业AI不需要复杂性来获得性能。企业AI基础设施的未来是基于标准的、企业就绪的——构建在组织已有的硬件和网络上,而不是专有孤岛。

虽然VAST和Pure Storage等供应商正在积极拓展这一市场,但两者都需要颠覆性的基础设施改造:大规模升级、庞大的硬件占用空间以及将应用程序迁移到他们的新孤岛。Hammerspace采取了截然不同的方法。我们独树一帜地提供了卓越的性能——例如,IO500分数是VAST的2倍,带宽是VAST的3倍,元数据IOPS比VAST高31%,这一切只是使用了9台服务器节点。没有新的存储孤岛,没有数据复制,没有平台重构,只是性能和效率,全由您掌控。

Hammerspace总体表现出色,我们的数据平台在“IOEasy”测试中表现尤为突出。此测试侧重于流式传输、大块IO,例如加载训练数据、模型保存和类似操作。Hammerspace在10 节点研究列表中,IOEasy写入和读取的成绩均名列前茅。
10 节点研究列表 IOEasy 写入
10 节点研究列表 IOEasy 读取
对于正在构建AI基础设施的组织而言,Hammerspace系统证明了您可以在不创建新孤岛或进行大规模升级的情况下实现大规模性能。

我正在构建AI基础设施,而不是运行超级计算机——我为什么要关心这个基准测试?


如果您是企业或新型云服务提供商中AI基础设施的负责人,很容易认为 IO500结果只与精英HPC实验室和超级计算站点相关。但今天的AI工作负载——训练、推理、RAG、微调——对基础设施提出了类似的需求:它们是 IOPS密集型的,对元数据敏感,并且需要持续、高带宽地访问海量数据集。

重要的不仅仅是原始性能,而是如何实现这种性能:

  • 它可以从小规模开始,并在不增加复杂性的情况下进行扩展吗?
  • 它可以与现有存储集成吗?
  • 它可以在不进行大规模升级的情况下提供结果吗?
  • 它可以避免创建另一个存储孤岛来处理AI的I/O模式吗?
通常情况下,实现性能意味着复制所有数据、移动应用程序和重新部署架构环境,但这仅仅是为了让您的数据做好 AI 准备,本不应如此。


这就是Hammerspace IO500提交将帮助企业设计 AI 基础设施的地方,它将满足其对整个 AI 数据骨干的需求。该提交证实,企业 AI 基础设施可以在没有专用硬件、奇异网络或专有客户端的情况下实现 HPC 级性能——使用基于标准的全局文件系统,该系统可与您现有的基础设施和数据配合使用。

借助 Hammerspace,组织可以将现有孤立数据整合到一个统一的全局命名空间中——无需迁移数据或创建新的数据存储孤岛。这使得当前环境即时具备 AI 就绪性,从而无需重新架构系统或移动海量数据集。这不仅仅是高性能——更是易于实现的高性能。

Hammerspace IO500测试配置
Hammerspace的测试设置非常简单:10个客户端、其中8台是内置NVMe磁盘的 Linux存储服务器以及一台元数据服务器,所有这些都通过400GbE连接。

硬件功能强大,但并非特别突出——都是现成的。网络也没有什么特别之处,只是使用RDMA (RoCE) 的以太网。这些都是您在任何企业数据中心都能找到的。文件访问是通过pNFSv4.2 和 Flexfiles 进行的,这在所有现代Linux发行版中都是标准内置的。

需要强调的是:客户端机器只是运行标准的 Linux。没有安装或需要任何特殊的客户端软件、特殊内核或代理。存储服务器也只是运行 Linux,在这种情况下,这是一个带有额外性能补丁的版本,我们正在向上游开源内核贡献这些补丁。这就是一个基于标准的系统。


请注意,“基于标准”并不意味着“仅限标准”。NFS 标准定义了一套基本工具。对于任何工艺,质量更多地取决于工匠的技能和经验,而不是工具本身。没有人比 Hammerspace 在 pNFSv4.2 和 Flexfiles 方面拥有更多经验,而且我们设计了其中许多工具。正是我们的 pNFS 元数据服务器实现实现了最高性能,而将这种原始性能与一套全面的数据服务相结合,使得 Hammerspace 的数据平台独一无二地强大。

关于IO500更多信息
IO500参与者从小型组织到大型政府实验室不等,参赛作品分为四类

正如您所料,分数范围很广,大约有五个数量级。这是由于参与的系统范围不同,以及测试的客户端和存储系统大小(和价格点)可以不受限制。如果您想获得最高排名,您需要花费数百万美元才能实现。

“10 节点”类别对客户端数量(运行基准代码的客户端)施加了10个的限制,以此来比较一些更受限制的设置。Hammerspace 在“10 节点研究”类别中提交了结果。

基准测试包含一系列侧重于不同工作负载模式的测试,如下表所示。测试涉及读、写、删除和状态操作。每个测试的结果都会输出,然后进行组合和汇总。

结论

Hammerspace的IO500结果强调了我们简单、基于标准的高性能存储方法的优势。它们展示了Hammerspace独特的能力,使企业能够利用熟悉的技术经验和现有存储基础设施,以无与伦比的效率为其AI之旅提供动力。

我们不以复杂性为追逐基准,我们正在用简洁性重新定义可能。

想了解更多吗?与我们的团队联系并安排演示。


科技排行