近日英伟达正式对外发布分块式GPU编程官方指南，面向AI算子开发者提供从cuTile开发框架、Triton内核优化到FlashAttention实现的全流程教学，支持开发者快速完成向量加法、Softmax、矩阵乘法等高频AI算子开发，实测同等开发周期下算子运行性能较通用开发模式平均提升32%，可大幅降低大模型底层算子的开发门槛。当前大模型训练和推理环节的实际算力利用率普遍在35%以下，其余算力大多消耗在显存调度、数据传输等非核心环节，而优化这部分损耗的核心就是定制化底层算子开发。据行业统计，目前头部AI企业的推理成本已经占到整体运营成本的60%以上，但传统GPU算子开发要求开发者同时精通硬件架构、并行计算逻辑和模型特性，单人完成一个优化版FlashAttention通常需要2周以上周期，中小团队几乎没有能力承担相关开发成本，只能使用通用版本算子，进一步加剧了算力浪费。这次英伟达推出的分块式GPU编程体系，核心逻辑是将GPU显存按固定大小划分调度单元，把原本需要跨全局显存读取的数据限制在单个流式多处理器（SM）的本地显存范围内，大幅减少数据传输延迟。官方指南已经封装好cuTile底层开发...
滇公网安备 53252802528133号