AI Agent 记忆和 RAG 怎么设计：短期记忆、长期记忆、引用来源和隐私边界

很多 AI Agent 项目做到第二阶段都会遇到同一个问题：用户不想每次都重复背景，团队也希望 Agent 能读取公司资料。于是大家开始说“加记忆”“加 RAG”“接知识库”。但这三个词不是一回事。短期记忆解决当前对话上下文，长期记忆保存可复用偏好或经验，RAG 则是从外部资料里检索相关内容，再放进模型上下文。

本文是待复核草稿。Agent 部署可以看 AI Agent 部署怎么做，团队提示词库可以看 团队 AI 提示词库怎么搭，模型选型可以看 客服 AI 该选什么模型。

适合谁

适合正在做客服机器人、企业知识库、个人助理、销售助手、代码助手或内部运营 Agent 的人。只要用户会反复提供背景，或者 Agent 需要读取公司文档，就需要考虑记忆和 RAG。

也适合做 AI 工具实践服务的人。客户经常会说“让 AI 记住我们的资料”，你需要进一步问：是记住用户偏好，还是读取知识库，还是保存历史任务复盘？不同需求对应完全不同的设计。

不适合谁

不适合一开始就把所有聊天记录都存起来的人。记忆越多，不代表越聪明。无筛选地保存记录，可能带来隐私、成本、过期信息和错误引用问题。

也不适合把 RAG 当成万能方案的人。检索不到、切分不合理、文档过期、权限混乱、引用不清楚，都会让知识库 Agent 变得不可靠。

先区分三种东西

短期记忆是当前对话里的上下文，例如用户刚才说的需求、约束和偏好。它通常随着会话结束而消失，适合处理连续对话。

长期记忆是跨会话保存的稳定信息，例如用户偏好的输出格式、团队常用检查命令、项目约定、客户所在行业。OpenAI Agents SDK 的记忆文档提到，记忆可以通过摘要、索引和历史片段逐步披露，而不是一次性把所有内容塞进上下文。

RAG 是知识库检索。它不是“记住用户”，而是从外部文档、FAQ、SOP、合同、产品手册中找相关片段，再让模型基于这些片段回答。

还有一个容易混淆的概念：会话历史。OpenAI Agents SDK 的 Sessions 说明的是跨多轮运行保留对话历史，适合让同一个会话连续下去；这不等于把用户偏好永久写入长期记忆，也不等于给 Agent 接入企业知识库。设计时要把“当前会话能继续”“未来任务可复用”“从文档里查事实”分开验收。

人工复核来源

公开前建议按以下官方资料逐项核对，不要只看二手教程：

• [OpenAI Agents SDK Sessions](https://openai.github.io/openai-agents-python/sessions/)：确认会话历史和 session memory 的定义。
• [OpenAI Agents SDK memory reference](https://openai.github.io/openai-agents-python/ref/memory/)：确认记忆接口、会话项读取和实现边界。
• [OpenAI file search / retrieval](https://platform.openai.com/docs/api-reference/run-steps/getRunStep)：确认文件检索结果和引用内容的当前能力。
• [Vercel AI SDK Agents](https://ai-sdk.dev/docs/agents/overview)：确认 Agent、工具循环、loop control 和工具调用说法。
• [Vercel AI SDK human-in-the-loop](https://ai-sdk.dev/cookbook/next/human-in-the-loop)：确认需要用户批准的工具执行边界。

这些来源只能证明当前官方文档的设计方向，不能替你承诺某个记忆方案一定稳定、便宜或适合生产环境。

具体步骤

1. 先定义 Agent 需要记住什么，不要默认保存所有内容。
2. 把信息分成短期上下文、长期偏好、项目记忆和知识库资料。
3. 为长期记忆设置写入条件，例如只有稳定偏好和反复出现的工作规则才保存。
4. 为 RAG 文档设置来源、版本、权限和更新时间。
5. 回答时尽量显示引用来源，方便人工复核。
6. 设计过期处理，旧记忆和旧文档不能一直影响结果。
7. 对敏感内容做脱敏、权限控制和保留周期设计。
8. 用真实但脱敏的问题做验收测试，记录命中率和错误类型。

什么时候用记忆

记忆适合保存“以后还会用”的东西，比如用户喜欢表格输出、项目使用 Next.js、团队要求先跑 build、客户不接受太长邮件。这类信息如果每次都重复输入，会降低效率。

但记忆不适合保存一次性的临时信息，比如今天的临时 bug、过期报价、一次性的客户情绪。临时内容更适合留在当前会话或任务日志里。

什么时候用 RAG

RAG 适合处理外部资料，例如产品说明、售后政策、内部 SOP、培训手册、历史项目文档。OpenAI 的提示词指南也强调，可以把检索到的相关上下文放进模型请求里，但需要考虑上下文窗口限制。

RAG 的关键不是“向量库”三个字，而是资料质量。文档要可检索、可更新、可追溯。没有来源和版本的知识库，很难让客服、销售或内部团队放心使用。

验收要看什么

验收时不要只看最终回答是否像人话。要看它有没有查到正确资料，引用是否对应原文，过期资料是否被排除，权限不足时是否拒绝读取，记忆是否被错误写入。

可以准备四类样本：知识库能回答的问题、知识库不能回答的问题、需要人工确认的问题、涉及敏感信息的问题。每类至少准备 5-10 个案例，记录 Agent 的处理方式。

常见错误

第一个错误是把所有历史记录都当长期记忆。这样会让 Agent 被旧信息污染。第二个错误是 RAG 没有引用来源。用户不知道答案来自哪篇文档，自然无法复核。第三个错误是没有权限边界。不同部门、客户和项目的资料不能混在一起。

第四个错误是没有更新机制。知识库一旦过期，Agent 回答越流畅，误导性越强。

风险提醒

记忆和 RAG 都涉及数据保留。不要保存不必要的隐私信息，不要把客户资料放进公开索引，不要让不同客户的资料互相可见。涉及合同、财务、人事、医疗、法律和账号权限时，要有更严格的复核和访问控制。

长期记忆也可能写错。系统应该允许用户查看、修改或删除记忆。Agent 应该把记忆当作参考，而不是比当前事实更可信。

人工复核时需要补充

• 补一个记忆分类表：短期、长期、项目、知识库。
• 补一个 RAG 验收样本表。
• 核对 OpenAI Agents SDK memory 文档中当前 API 名称和示例。
• 增加不同权限场景的处理说明。

推荐工具或模板

可以先用 模板下载 做知识库资料盘点表，再用 AI 工具导航 选择向量数据库、文档解析和 Agent 框架。做项目报价时，用 项目报价助手 把资料整理、检索测试、权限设计和上线验收分开估算。

CTA：如果你准备给 Agent 加记忆，先写清楚“记什么、不记什么、谁能看、什么时候删”，再谈技术选型。

免责声明

本文只用于学习和方案设计参考，不构成隐私、合规、安全或法律建议。记忆和 RAG 系统需要结合实际数据、平台规则、客户授权和专业复核使用。本站可能在工具推荐或模板页面预留联盟链接和广告位，但不会因此承诺任何收入结果。