社区动态 / T SALON

编辑内容

Memory Poisoning:企业 Agent 必须建立的六道长期记忆控制

如果系统把网页中的虚假联系人写成“可信供应商”,影响不止停留在这轮对话。Memory Poisoning 指不可信、错误或被操纵的信息进入持久记忆后,在后续会话中被再次调用。

Memory Poisoning:企业 Agent 必须建立的六道长期记忆控制
T SALON / 社区档案

1.png

如果系统把网页中的虚假联系人写成“可信供应商”,影响不止停留在这轮对话。下一次采购时,任务可能会召回这条信息,其他 Agent 也可能沿用它继续执行。

Memory Poisoning 指不可信、错误或被操纵的信息进入持久记忆后,在后续会话、任务和多 Agent 协作中被再次调用。它带来的问题不只是一轮回答偏离,而是错误信息开始参与之后的判断与行动。

随着 Agent 能够跨会话工作、调用工具、共享任务经验,记忆也成了需要单独管理的系统资源。企业需要围绕来源、写入、更新、隔离、召回和删除建立控制措施,并让这些措施与身份权限、输入验证、审批、监控和安全运营配合起来。

Forcepoint 在今年 8 月的 Agentic AI 安全文章中,将 Memory Poisoning 与状态污染列为重要风险。核心问题在于,Agent 会持续使用记忆,错误信息一旦被保存,可能在数天或数周后才通过后续任务造成影响。

一次错误怎样变成长期污染

Prompt Injection 影响的是当前交互。攻击者试图让 Agent 忽略原有指令,改为执行嵌入在网页、邮件或工具返回内容中的要求。

Memory Poisoning 发生在这轮交互结束之后。系统把未经核实的信息写进了持久记忆,之后又把它当作历史事实、用户偏好或已验证经验取回来。

例如,网页中的伪造联系人可能被记成可信供应商,一次异常操作可能被总结成可复用经验。恶意指令也可能被写成用户偏好,并随着任务总结、共享记忆或跨 Agent 协作扩散出去。

对长期运行的 Agent 来说,风险会沿着记忆生命周期继续传递。

环节 需要关注的问题 常见控制措施
输入 信息来自哪里,可信度如何 来源标记、内容分类、输入验证
写入 谁能让信息进入记忆 写入权限、策略校验、人工审批
持久化 后续能否追溯这条信息 来源、时间、操作者、版本、有效期
召回 当前任务是否应当看到它 身份与范围校验、新鲜度、重排序、置信度阈值
行动 Agent 是否会据此执行高风险操作 最小权限、关键操作确认、工具调用监控
传播 错误信息会不会进入其他 Agent 或业务域 溯源标记、跨域限制、追踪与批量清理

记忆治理要回答六个问题

第一,这条记忆从哪里来。系统需要区分用户输入、内部文档、外部网页、工具返回和 Agent 自己的总结,并保留来源信息。

第二,谁能写入或修改。并非每段对话、每个网页和每次工具调用都适合直接进入长期记忆。写入权限应当和业务风险匹配。

第三,新旧记忆如何共存。新信息可能补充旧记录,也可能纠正、替换或与旧内容冲突。系统需要明确处理规则,避免新旧内容在召回时互相打架。

第四,记忆能被谁看见。不同租户、用户、Agent、项目和业务系统之间需要清楚的隔离边界。

第五,错误发现后怎样处理。需要能够定位原始记忆,进行修正或删除,并检查它是否已经被摘要、派生或传播到其他状态中。

第六,怎样发现异常。企业应持续记录写入、检索、冲突、反馈、删除和跨范围访问等事件,把它们纳入现有的安全监控与审计体系。

MemOS 如何帮助企业避免同类问题

MemOS 将记忆放在 Agent 与模型之间,提供写入、检索、反馈、删除和记忆模块编排等系统入口。应用可以据此控制哪些内容进入记忆、哪些内容在当前任务中被召回,以及错误信息如何被处理。

能力 在治理中的作用
Add Message 将写入作为明确动作,由应用决定哪些消息进入记忆
Search Memory 按查询与范围检索相关记忆
Add Feedback 把“不准确”“已经变化”“不应继续复用”等反馈交给记忆处理流程
Delete Memory 删除指定记忆,支持纠错与事件处置
Memory Module Orchestration 编排不同记忆模块,适配不同任务与存储形式

MemOS Cloud 现已提供搜索、写入、删除和反馈等接口,便于将这些操作接入 Agent 工作流。

这些接口提供了记忆层的控制入口。企业仍需要结合 IAM、最小权限、输入验证、审批、DLP、SIEM、业务日志和应急响应流程,共同处理生产环境中的风险。

反馈和删除尤其需要成为系统能力。用户发现一条记忆过期、错误或不该继续使用时,系统应当能够接收反馈、定位对应内容,并阻止它继续参与后续任务。

记忆层不同,治理方式也不同

文本记忆通常更容易查看、修改和删除。激活记忆与参数化记忆的可见性更低,修正成本也更高。

实际系统里还可能存在缓存、知识图谱、摘要、Skills 和可复用任务状态。治理前应先盘点这些记忆形态,确认它们的写入来源、保存周期、召回范围和删除路径。

私有化或端侧部署能够改变数据存放边界,却不能替代记忆治理。错误写入、过度授权、来源不明和内部投毒,同样可能发生在本地环境中。

不同行业需要不同的记忆规则

陪伴型产品需要重点处理人格设定、用户控制权和敏感偏好。

智能设备需要考虑多用户隔离、边缘端隐私和设备之间的记忆边界。

金融场景更关注政策时效、访问权限和完整审计记录。

工业场景则需要区分设备事实、专家经验和现场异常,避免未经确认的经验直接影响操作建议。

无论是哪类业务,团队都应先定义四件事。哪些内容可以自动写入,哪些内容必须审批;哪些记忆可以共享,哪些必须隔离;记忆保存多久,何时失效;收到纠错反馈后,是更新、立即停止使用,还是进入人工审计。

上线前逐项核对

检查项 上线前需要确认的内容
来源信息 是否记录来源、操作者、时间、范围与有效期
权限模型 是否区分读取、写入、修改、删除与共享权限
外部输入 网页、邮件、附件与工具返回是否默认按不可信内容处理
高风险写入 是否需要二次确认或人工审批
冲突处理 新旧记忆冲突时采用什么规则
召回追踪 是否能看到某项任务实际调用了哪些记忆
事件处置 是否能清理错误记忆及其已派生状态
安全监控 是否覆盖写入、检索、冲突、反馈、删除和工具调用
红队测试 是否测试注入、跨租户访问、过期记忆和错误传播
责任边界 云端、私有化与边缘环境中的责任是否清晰

常见问题

Memory Poisoning 和 Prompt Injection 有什么区别

Prompt Injection 主要影响当前任务。Memory Poisoning 会让不可信信息进入持久记忆,并在后续任务中持续产生影响。

私有化部署是否可以解决记忆投毒

私有化部署可以缩小数据外流范围。来源不可信、权限过大和错误写入等问题仍需要通过记忆治理来处理。

企业应该监控哪些指标

至少应覆盖记忆写入量、来源类型、跨范围访问、冲突率、反馈率、删除率、异常召回和高风险工具调用。

MemOS 能解决哪些问题?

MemOS 提供记忆写入、检索、反馈、删除与模块编排的系统入口,帮助开发者把记忆治理接入 Agent 工作流。具体的权限、审批、监控和应急处置仍需由企业按自身架构配置。

结语

Agent 能够长期工作,记忆就会开始影响后续任务的质量与安全。企业需要知道一条记忆从哪里来,为什么被写入,哪些任务曾调用过它,发现问题后又能否及时修正或删除。

长期记忆并不只是保存历史。它需要在每一次写入、召回和更新中保持可控、可查、可处理。

相关链接

MemOS 官网:memos.openmem.net

GitHub:github.com/MemTensor/MemOS

文档:memos-docs.openmem.net


关于记忆张量 MemTensor

记忆张量(上海)科技有限公司(以下简称“记忆张量 MemTensor”)是由上海算法创新研究院孵化,并由中国科学院院士担任首席顾问的新一代大模型与长期智能基础设施企业。

公司以“低幻觉、个性化、自我学习进化”为核心,长期聚焦大模型长期记忆与持续学习问题,围绕 Memory³ 相关记忆机制研究、MemOS 记忆操作系统、Agent 和记忆基础设施产品化,以及记忆原生通用基座模型,构建从理论探索、系统工程化到模型层探索的递进式技术路线,推动 AI 从一次性生成走向长期智能。

公司已与招商、海诚、荣耀等重要合作伙伴建立深度协同关系,并在 AI 陪伴、游戏、端侧智能硬件、金融及工业等多个重点行业实现商业化落地,先后累计完成近两亿元融资,由中金、孚腾、华为哈勃、商汤、和玉等众多知名投资机构参投。

主题
AIAgentSecurity