数据库厂商MongoDB近日宣布为其云数据库服务Atlas内置重排序功能,该技术嵌入数据库原生能力后,可帮助企业降低约40%的开发者运维负担、简化AI全流程运营工作,缩减近30%的大模型推理成本。不过行业分析师提示,企业CIO仍需权衡功能收益与现有系统集成的取舍成本。
随着生成式AI应用从试点转向规模化落地,越来越多企业开始遭遇RAG(检索增强生成)技术栈碎片化的痛点:一套完整的RAG链路往往需要对接向量存储、重排序、大模型推理等多类独立服务,不仅运维难度高,数据跨服务传输也带来了额外的延迟和安全风险。
据行业调研数据,2024年近7成计划落地生成式AI应用的企业,都将“技术栈复杂度太高”列为排在首位的落地障碍。很多企业的AI项目卡在从POC到规模化部署的阶段,核心原因就是多组件运维的成本远超预期,甚至比大模型推理本身的成本还要高。
登录后解锁全文,体验收藏、点赞、评论等完整功能
立即登录