AI基础设施初创公司Gimlet Labs近日完成8000万美元A轮融资，其核心技术可实现AI推理负载在NVIDIA、AMD、Intel、ARM、Cerebras、d-Matrix等多厂商不同架构芯片上的同时调度运行，以轻量化方案破解当前行业普遍面临的AI推理算力瓶颈，为大模型规模化落地降本提效提供了全新技术路径。
随着大模型应用进入规模化落地阶段，AI推理的算力需求正在以每年3倍以上的速度增长，而供应链不稳定带来的芯片架构碎片化问题，正在成为制约推理成本下降的核心障碍。
据行业统计，当前大模型落地的全生命周期成本中，推理侧支出已经占比超过70%，但绝大多数企业的算力池利用率不足60%。其中最核心的痛点在于，过去两年受高端通用GPU供应限制，越来越多企业开始混合采购AMD、ARM架构通用芯片，以及Cerebras、d-Matrix等专用AI加速器，不同厂商的芯片软件栈互不兼容，很难实现统一调度，大量闲置算力无法被有效利用。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号