企业级MLOps服务商TrueFoundry近日正式推出开源AI Agent管控框架TrueForge，官方宣称该产品可帮助企业AI部署最高降低75%的算力与token消耗成本。行业分析师指出，该框架更适配高并发工作负载、金融医疗等受监管行业场景，小规模AI部署仍可选择性价比更高的托管类服务。据当前企业AI落地调研数据，近6成开展AI Agent部署的中大型企业将算力、token消耗成本列为首要痛点，尤其是金融、医疗等受强监管的行业，既要满足数据不出域的合规要求，又要控制大模型调用的高频支出，此前一直缺乏适配的开源工具链。不少企业为了控制成本，被迫降低Agent调用频率，反而影响了AI工具的落地效果。本次推出的TrueForge核心能力在于多模型的智能调度适配：框架可根据Agent任务的复杂度、安全等级要求，自动匹配成本、能力适配的大模型资源，避免简单任务过度调用高参数闭源模型造成的token浪费。同时框架支持全私有化部署，所有交互数据无需上传至第三方大模型服务商服务器，完美匹配强监管行业的数据合规要求。官方测试数据显示，在日均调用量超过10万次的高负载场景下，TrueForge可实现...
滇公网安备 53252802528133号