Gimlet Labs完成8000万美元A轮 破解跨芯片AI推理瓶颈

AI基础设施初创公司Gimlet Labs近日完成8000万美元A轮融资，其核心技术可实现AI推理负载在NVIDIA、AMD、Intel、ARM、Cerebras、d-Matrix等多厂商不同架构芯片上的同时调度运行，以轻量化方案破解当前行业普遍面临的AI推理算力瓶颈，为大模型规模化落地降本提效提供了全新技术路径。

随着大模型应用进入规模化落地阶段，AI推理的算力需求正在以每年3倍以上的速度增长，而供应链不稳定带来的芯片架构碎片化问题，正在成为制约推理成本下降的核心障碍。

据行业统计，当前大模型落地的全生命周期成本中，推理侧支出已经占比超过70%，但绝大多数企业的算力池利用率不足60%。其中最核心的痛点在于，过去两年受高端通用GPU供应限制，越来越多企业开始混合采购AMD、ARM架构通用芯片，以及Cerebras、d-Matrix等专用AI加速器，不同厂商的芯片软件栈互不兼容，很难实现统一调度，大量闲置算力无法被有效利用。

不少企业为了适配不同架构的芯片，不得不投入大量研发资源对大模型做定向裁剪，不仅拉长了落地周期，也额外增加了技术成本。

Gimlet Labs推出的核心技术，跳出了此前行业普遍采用的模型定向适配单芯片架构的思路，通过在推理框架与底层硬件之间增加一层轻量化的调度中间件，无需企业修改大模型原有代码，即可自动将推理任务拆分到不同架构的芯片上并行运行，最终实现多厂商芯片的算力池化。