8月18日，英伟达正式开放TensorRT Model Connect工具公共预览版，该工具可实现仅用两行命令，将Hugging Face平台上的模型检查点直接转换为适配TensorRT的原生C++推理版本，无需经过ONNX中间格式转换，大幅降低大模型生产级部署的技术门槛与时间成本，当前已面向全球开发者开放试用。
随着开源大模型生态的快速扩张，Hugging Face已经成为全球开发者获取预训练模型的核心渠道，仅2026年上半年平台新增模型 checkpoint 数量就突破了230万个。但此前开发者要将Hugging Face上的模型部署到对性能要求极高的生产级C++环境，需要经过权重导出、ONNX格式转换、算子适配、TensorRT优化、精度校验等至少7个步骤，仅兼容性调试环节就可能耗费中小团队3-5天的工时，近6成开发者表示推理部署是AI应用落地过程中耗时最长的环节。
登录后解锁全文，体验收藏、点赞、评论等完整功能
立即登录
滇公网安备 53252802528133号