算力时代,存储定乾坤。

近日,百代数据自主研发的OptiFS 高性能并行文件存储集群在上海外高桥三千卡国产算力集群成功完成全量交付并正式投入生产运行,以极致性能、全栈国产化、超低时延的硬核实力,同时支撑大模型训练与在线推理全生命周期业务,为超大规模国产 AI 算力底座筑牢数据根基,再次印证国产高性能存储在国家级智算基础设施中的核心价值。

外高桥三千卡国产算力集群是上海推进自主可控智能算力基础设施的重点工程,面向千亿乃至万亿参数大模型训练、在线推理、科学计算、产业智能等高阶算力需求,采用全国产 AI 加速芯片与算力架构,打造高密、高效、高可靠的国产智算标杆。项目不仅要承载大规模模型训练的海量数据吞吐,更要面对在线推理场景高频、高并发、强实时性的严苛挑战,对存储系统的稳定性、时延控制、并发能力与缓存调度能力提出前所未有的高要求。

大模型训练场景依赖海量样本加载、高频 Checkpoint 持久化,需要超大顺序带宽与高随机 IOPS;而在线推理场景的核心难点,在于KV Cache 高频小粒度读写、极低时延抖动、长稳高并发。传统存储在面对推理业务时,常常因缓存机制不足、IO 路径冗长、写入聚合能力弱,导致 KV Cache 读写延迟飙升、并发上不去、服务出现毛刺,直接造成推理 “掉卡”、响应变慢、集群利用率大幅下降。百代 OptiFS 从底层架构出发,针对训练与推理混合负载深度优化,为三千卡级 GPU 集群提供全局统一命名空间的高性能文件服务,真正实现一存储支撑大模型全生命周期运行。

针对 AI 推理最关键的KV Cache 持久化与高速访问,OptiFS 构建了一整套专为推理场景优化的存储加速体系。依托自研用户态 IO 引擎与 RoCE 网络零拷贝技术,IO 路径全面绕过内核,实现存储到 GPU 的端到端直通访问,大幅削减协议开销与上下文切换延迟,让 KV Cache 的高频读写始终保持微秒级稳定时延。系统内置智能热点识别与多级缓存调度机制,可自动将推理过程中高频访问的 KV Cache 数据常驻高速缓存,大幅提升缓存命中率,减少反复落盘带来的性能损耗。同时,OptiFS 支持细粒度写入聚合与 QoS 流量隔离,能够智能识别推理流量、训练流量、模型保存流量与日志流量,进行独立通道调度,避免不同业务互相抢占资源,确保 KV Cache 写入不阻塞、读取不等待、并发不抖动。即便在数千卡级超高并发推理场景下,依然保持极低时延与超高稳定性,彻底解决传统存储在推理场景中的延迟毛刺、吞吐量不足、缓存命中率低等痛点。

在项目标准化基准测试中,百代 OptiFS 交出了亮眼成绩单:4K 随机读 IOPS 高达 210 万,4M 顺序读带宽达到 130GB/s,4K 随机写 IOPS 突破 105 万,4K 写入延迟低至 14.5ms,较行业常见水平快近 8 倍,核心指标较同级别竞品平均提升超 90%,真正做到训练不掉卡、推理不抖动、算力不浪费。

与此同时,OptiFS 在外高桥项目中实现全栈国产化深度适配,客户端完美兼容昇腾、寒武纪、海光 DCU 等主流国产 AI 芯片,深度适配 MindSpore、PaddlePaddle 等主流训练与推理框架;系统内置 SM4 国密加密、秒级快照、细粒度 ACL 权限及跨机房异步复制能力,全面满足等保三级与信创合规要求,为国家级智算中心数据安全保驾护航。

从金桥武桐树千卡智算,到外高桥三千卡国产算力集群,百代 OptiFS 持续领跑国产高性能并行存储赛道,实现从大模型训练到在线推理的全场景覆盖,以硬核自研技术破解 KV Cache 低时延高并发难题,让算力真正释放价值。

未来,百代数据将继续深耕算- 存 - 网协同创新,不断打磨并行文件存储核心能力,为国家级智算中心、大模型训练与推理、AI 产业化应用提供坚如磐石的数据底座,让中国 AI 的每一分算力,都不被存储拖累。

算力强国,存储先行;智算未来,百代护航!

百代存储Optima Storage Solutions(OSS)是针对AI时代推出的统一混合云平台,OSS平台允许用户对所有类型的数据进行统一管理,包括结构化数据、非结构化数据、块数据、文件数据、对象数据、第三方存储数据等。

进入AI时代的用户所面临的更大的挑战就是企业的数据存储在不同的地方。通过百代OSS统一的数据平面和统一的管理平面、控制平面,使用同样一套工具管理所有类型和来源的数据,来解决数据孤岛的问题。同时提供线性扩展能力、高性能以及统一的存储平台,高效的支撑AI、大数据、科研分析等场景。

● 业务融合缩减开支

通过采用SAN/NAS/对象一体化设计,该方案不再需要NAS网关设备,一套软硬件同时支持SAN,NAS 和对象,支持NFS、SMB、FC、iSCSI、SFTP、S3对象存储等访问协议。不仅在架构精简的同时降低了成本,也提高了性能和效率。

● 数据高可靠性

方案基于OptiBackup提供文件级和映像级文件备份,支持文件历史版本,用户可将备份的映像通过网络直接挂载到客户端,实现快速业务恢复。可支持异地备份与恢复,从而实现异地容灾,是一个灵活且弹性可扩展的低成本数据容灾与保护解决方案。

● 多协议访问

在丰富和构建企业存储软件生态方面,百代存储打造了OptiCloud、OptiDrive、OptiBackup、OptiBDR等存储解决方案,在统一存储常见的iSCSI、FC、NFS、SMB、S3对象存储等接口基础上,增加企业云盘、数据备份、容灾等丰富特性,提供完整的云盘整体解决方案。

● 支持存储虚拟化

将企业存量的异构设备通过OSS智能存储虚拟化为巨大的虚拟存储池,统一进行管理,简化了数据管理工作流程,有助于快速实现价值,并加快数字化转型。

● 业务快速响应

基于高性能闪存存储技术,可帮助用户避免存储成为业务系统性能瓶颈,并降低I/O时延,为关键业务提供平稳时延,保障系统快速响应。

● 业务连续性

基于OptiHA高可用集群技术,方案在设备故障、数据中心故障时可保障数据不丢失,实现业务无缝切换;基于免网关存储主备容灾技术,在双活环境中单个数据中心完全故障的情况下,业务仍可以快速恢复。

● 支持主流虚拟化平台

方案支持VMware、KVM、Citrix、Hyper-V、OpenStack、XEN等主流虚拟化平台,存储管理灵活高效,支撑动态而灵活的数据中心,从而提高业务敏捷性。

● 富有弹性的“存储即服务”销售模式

“存储即服务”(Storage as a service, STaaS)是专为运营支出模式而设计的涵盖可扩展的弹性存储资源的产品组合。该服务使客户能够动态响应不断变化的业务需求,消除资源配置不足带来的风险和过量配置造成的成本浪费,并节省了 IT 管理员工的时间和资源。

数据无处不在,存储就要百代!