登录体验完整功能(收藏、点赞、评论等) — 已累计有 10149 人加入
智能AI助手

您好,我是AI助手

我可以帮您推荐合适的AI工具,有什么需要帮忙的吗?

我会根据您的需求,智能推荐站内收录的AI工具
猜您想问
推荐一些AI写作工具 有什么AI绘画工具? 推荐视频剪辑AI工具
AI助手: 我可以帮您推荐合适的AI工具,有什么需要帮忙的吗?

模块化MEMO框架问世 无需修改大模型参数即可注入新知识

详情页推荐

近日,面向大语言模型(LLM)知识增量更新的模块化框架MEMO正式披露。该框架通过独创的五步反思QA流水线,可将新增知识编码至独立的专属记忆模型中,全程无需修改原有LLM的基础参数,有效解决了大模型增量学习的灾难性遗忘、微调成本过高的行业痛点,目前已引发大模型研发领域的广泛关注。

当前大语言模型的知识更新长期依赖两种主流路径:一是全参数或LoRA微调,单轮7B参数模型的微调成本动辄数千元,且容易出现“灾难性遗忘”问题,模型原有任务能力会出现10%-30%不等的下滑;二是检索增强生成(RAG)技术,虽无需调整模型参数,但受限于检索准确率和上下文窗口上限,复杂专业知识的调用准确率普遍不足70%。这两大瓶颈直接限制了垂直领域大模型的迭代效率,也是近年AI基础设施领域的核心攻关方向。

此次披露的MEMO框架,核心思路是将“记忆存储”与大模型的基础推理能力完全解耦。其独创的五步反思QA流水线,可对新增知识完成“事实提取-疑问生成-交叉验证-答案优化-向量编码”的全流程处理,最终将结构化的新知识全部存储在独立的专属记忆模型中。

当用户发起相关查询时,MEMO会优先调用记忆模型的信息匹配结果,再交由基础LLM完成自然语言话术生成,全程不需要对原有大模型的参数做任何调整。根据公开的测试结果,面对金融、医疗等垂直领域的新增知识更新需求,MEMO的知识调用准确率比主流RAG方案高出22%,更新成本仅为LoRA微调的1/20,同时不会对原有大模型的通用能力表现产生任何影响。

免责声明:本网站AI资讯内容仅供学习参考,不构成任何建议,不对信息准确性与完整性负责。