少找工具,多做创作

AI工作负载凸显低效 存储与计算的传统分工亟待重构

近日科技媒体InfoWorld的分析指出,当前AI训练与推理工作负载正暴露出传统存储-计算分工模式的致命低效,这一行业痛点正推动科技行业重新审视二者的协作逻辑。据InfoWorld测算,AI场景下数据在存储与计算节点间的无效流转占比可达28%以上,直接推高了算力成本与时延,倒逼架构从“物理隔离”转向“协同适配”。

2023年GPT-4训练细节公开时,OpenAI工程团队曾披露,团队曾因存储集群与GPU计算池的带宽瓶颈,导致超过四成的训练时间被浪费在跨节点数据搬运上——这并非孤例,而是当前AI基础设施普遍面临的核心矛盾。

传统数据中心的存储与计算架构遵循“物理分离”逻辑:存储集群负责长期归档与读取数据,计算集群(如GPU、TPU池)负责运算,二者通过通用网络连接。但AI工作负载的核心特点是“数据密集型”——千亿级token的训练数据、TB级的多模态素材,需要在计算过程中反复读取调用,传统架构下数据需要多次在存储与计算节点间流转,不仅会产生高额的网络带宽成本,还会带来数毫秒到数秒的时延,直接拖慢训练进度。InfoWorld的分析显示,这类无效数据流转在通用AI集群中占比可达28%,部分超大规模训练项目的浪费比例甚至超过40%。

针对这一痛点,科技行业正在探索两种核心的优化路径:一是硬件层面的近距离适配,比如将高速存储介质(如NVMe SSD、HBM3显存)直接集成在计算节点内部,或者构建分布式存储集群与计算池的低延迟直连网络;二是软件层面的调度协同,通过AI专用的存储调度系统,将计算任务所需的数据提前缓存到靠近计算节点的本地存储中,减少跨节点传输。

比如Pure Storage推出的FlashBlade AI存储系统,可针对大模型训练的数据流做专门优化,将数据读取时延降低60%以上;国内的华为OceanStor AI存储方案,则通过分布式缓存技术实现了存储与计算资源的动态联动,适配多模态AI的高并发数据读取需求。

随着AI模型参数规模持续突破万亿级,传统的“分离式”架构已经难以满足需求,行业正朝着存算一体化的方向演进。三星、英伟达等厂商已经推出了集成存储与计算功能的芯片方案,将部分数据处理功能下沉到存储介质中,实现“数据不挪窝,运算在本地”。据InfoWorld的行业预测,到2027年,全球超过60%的企业级AI基础设施将采用存算协同架构,而真正的存算一体方案将在边缘AI、实时推理场景中率先落地,进一步降低AI应用的成本与时延。

从单纯的算力竞赛到基础设施的全面重构,AI的爆发式增长正在重新定义IT架构的底层逻辑。存储与计算的关系从“各司其职”转向“协同共生”,不仅是解决当前AI训练低效问题的务实路径,更是未来通用人工智能落地、普惠AI应用普及的必要前提。

!
本文内容来源于公开互联网信息,并包含平台新增内容及用户发布内容,旨在进行知识整理与分享。文中所有信息与观点均仅供参考,不代表任何官方或特定立场,亦不构成任何操作或决策建议,请读者谨慎甄别,详情请见完整免责声明
所属分类
相关资讯