英伟达近期发布开源工具Switchyard，该工具采用Rust语言编写、遵循Apache-2.0开源协议，可作为代理实现大语言模型（LLM）流量的智能路由，同时支持OpenAI与Anthropic两大头部厂商的API协议自动转译，大幅降低开发者跨平台调用大模型的适配成本，也为企业级LLM流量调度提供了更高性能的基础设施选项。
不少同时部署多款大模型的开发团队都曾面临相同的痛点：要在应用中同时调用OpenAI GPT系列的生成能力和Anthropic Claude系列的长上下文处理能力时，需要分别适配两套完全不同的API体系，不仅开发周期长，后续流量调度、故障切换的维护成本也居高不下。英伟达此次推出的Switchyard，正是瞄准这一长期存在的行业痛点给出的解决方案。
随着大模型产业的成熟，单一厂商的模型已经很难覆盖企业的所有应用场景。调研显示，当前62%的企业级大模型用户会同时使用2款及以上不同厂商的大模型服务，比如用GPT-4o做多模态生成，用Claude 3 Opus处理百万字级长文档，用开源模型做低成本的简单分类任务。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号