近日全球算力巨头英伟达正式入局高速增长的模型路由赛道，推出旗下首款模型路由工具NeMo Switchyard，为企业级大语言模型部署提供更低延迟、更高资源利用率的调度方案。当前全球模型路由市场年增速超70%，是2024年生成式AI落地环节最受关注的细分领域之一。
随着生成式AI进入规模化落地阶段，越来越多企业选择构建“通用大模型+垂类小模型”的混合模型矩阵满足不同场景需求，如何将用户请求精准分配给最适配的模型、同时控制推理成本，成为当前企业部署AI的核心痛点。不少企业反馈，多模型部署场景下，仅路由调度环节就会吃掉近20%的推理成本。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号