当前,信息技术的快速发展使文档、图片、视频等数据呈“爆炸式”增长,经济社会对存储基础设施的需求日益提升,尤其在AI大模型加速落地产业应用之际,用户亟须通过具备容量可扩展、性能可提升及多协议互通等特性的存储产品管理自身快速增长的数据。因此,具有分布式、多副本、高可用等特性的云存储产品成为AI时代用户存储、管理海量数据的理想选择,进而取得快速增长。
作为国内头部云服务商,移动云基于自主研发的大云天权存储技术打造出对象存储、文件存储、云硬盘等丰富的云存储产品。同时,针对大数据管理、AI训推等新兴业务场景对存储产品容量、性能、成本方面的多维度需求,移动云还不断对存储产品进行升级,通过打造数据湖存储、并行文件存储、智算文件存储等产品,为用户部署、应用AI大模型或应用大数据等技术提供弹性可靠、灵活高效的存力支持。

打造数据湖存储,全面提升海量数据管理效能
在AI大模型训推过程中,高速增长的训练数据及AI生成内容对用户存储基础设施的存储容量、性能及扩展灵活性提出了“严苛”要求。而采用分布式集群部署的移动云对象存储,不仅能够以灵活的扩容能力满足用户海量非结构化数据的存储需求,同时还能凭借多重冗余特性提供极高的服务可用性。为满足用户AI大模型训推等业务对存储产品容量、性能、成本的综合需求,移动云基于对象存储,打造出云原生数据湖服务。
具体而言,该服务底层采用对象存储,能够凭借分布式集群架构确保存储服务具有弹性、高可靠、高可用、低成本等优势,同时其完全兼容appendToFile、cat等24个HDFS文件系统接口,具有统一的元数据管理功能。此外,移动云还将该服务与主流大数据计算引擎无缝兼容,因此能够实现EB级非结构化数据的高效管理,为用户大数据工作负载、复杂计算任务和多样化应用等业务场景提供灵活高效的存力支持。
以模型训推场景为例,该服务既能在模型训练阶段,通过数据湖加速能力从海量对象存储中读取训练数据,并将checkpoint数据快速保存并持久化至对象存储;同时该服务还能在模型推理阶段直接从分布式缓存中拉取模型数据,避免用户从推理节点数据拷贝,从而提升3倍的模型分发速度,实现模型快速启动。

升级文件存储,为大模型应用构建先进存力基石
随着大模型部署应用进程的推进,系统多模态数据管理、并发读写响应等实际需求要求用户存储系统拥有高吞吐量与超低延迟,因此分布式全闪存存储逐渐成为存储产品的核心发展方向。为此,移动云存储团队面向多协议、百万级IO、EB级规模开展设计,自主研发了新一代全闪存存储引擎,并在此基础上对文件存储进行升级,推出了智算型文件存储、并行文件存储等适用于大模型训推场景的存储服务。
其中,智算极速型文件存储具有百GB/s级吞吐、千亿参数模型秒级加载、长文本生成场景下亚毫秒级延迟响应等能力,能够支持AI场景下PB级训练数据集存储,为用户实时推理DeepSeek等千亿参数级模型提供稳定的性能保障。而并行文件存储具有超大规模、多模态的数据集存储和处理能力,支持上千台云主机并行访问,单文件系统可提供百万级IOPS和亚毫秒级延时,因此既能够应用于千卡级分布式训练,也能满足在线推理DeepSeek等大模型时的高并发、低延时数据访问需求。
此前,在助力国内能源行业巨头数智化转型的项目中,移动云就基于智算容量型和智算性能型文件存储为其打造出全方位智算专属存储解决方案。该方案不仅能够以极致性能为千亿参数级模型的并发推理线程权重读取提供有力支撑,满足用户长文本序列生成等分布式训练和实时推理的使用需求,同时还能从部件、网络、节点、数据冗余等各个层面保证数据安全性及系统稳健性。投入使用后,该方案在数据存储和管理方面取得显著成效,并凭借“以租代建”模式助力用户实现了资源的高效利用和成本的精细化控制。

随着AI时代的全面到来,机器学习、高性能计算、自动驾驶训练、气象分析、基因序列分析等业务不断兴起,对存储产品提出了巨大挑战。而移动云深耕AI技术前沿应用场景,不断以技术创新升级自身云存储产品及服务,从而通过打造先进的云端存力底座,助力用户开启AI时代的更多可能。
