考察点
这道题出自通义 AI Agent 产品经理一面,表面问技术架构,实际考察两件事:一是你对 Agent 记忆体系有没有分层的设计直觉,不是所有东西都往向量库里塞;二是你能不能在成本、精度、延迟这个不可能三角里做取舍——这是平台型产品经理的核心能力。追问一般会往「什么该记什么不该记」「记忆污染怎么处理」「召回不准时用户感知是什么」上走。
参考答案
短期记忆和长期记忆的本质区别
短期记忆管的是「这次对话」,长期记忆管的是「这个用户」。这两个东西在架构上完全不是一个物种。
短期记忆基本就是上下文窗口:当前会话的轮次、中间推理结果、工具调用的返回。它的载体是模型的 context,特点是快、精确、但容量有限且会话结束就没了。工程上的挑战是窗口会满,所以要做压缩——早期轮次做摘要、工具返回的长文本截断、只保留对当前任务有用的状态。
长期记忆是持久化的用户画像和偏好:用户是做什么的、偏好中文还是英文、上次那个项目进行到哪了。它的载体是外部存储(向量库 + 结构化数据库),特点是容量近乎无限、跨会话生效,但写入和读取都要花钱,而且存在「记错了」「记混了」的风险。架构上的关键区别是:短期记忆是模型推理的一部分,长期记忆是检索增强的一部分,后者天然带不确定性。
成本与召回精度的权衡,先拆清成本在哪
向量检索的成本不只是查询费。真正的账有三块:写入成本(每条记忆要过 embedding 模型,量大了不可忽视)、存储成本(向量库按维度和条数计费,百万用户每人存几百条就是亿级向量)、以及最容易被忽略的错误召回的体验成本——模型拿着一条不相关甚至张冠李戴的记忆去回复,用户对「AI 记住我了」的信任会瞬间崩塌,这比没记住更糟。
精度这边,向量语义召回有个绕不开的问题:它擅长「意思相近」,不擅长「精确匹配」。用户说「我女儿对青霉素过敏」,下次问用药时这句话必须以接近 100% 的确定性被召回,纯向量检索做不到这么稳。所以我的做法是分层检索:结构化的关键事实(过敏史、身份信息、明确偏好)走结构化字段精确查询,只有开放性的偏好和上下文(「喜欢简洁的回答」「在做跨境电商」)才走向量语义召回。
控制成本的三个产品杠杆
第一是写入节流。不是每句对话都值得变成长期记忆。我会让模型在会话结束或关键节点做一次「值得记住吗」的判断,只有稳定偏好、重要事实、用户明确要求记住的才写入。经验上,一个活跃用户一天的对话能沉淀出的有效记忆也就 3-5 条,过滤后写入量能降一个数量级。
第二是记忆的生命周期管理。记忆要有新鲜度衰减和冲突合并机制:用户三年前喜欢火锅不代表现在还喜欢,新写入的偏好应该覆盖旧的而不是堆在一起。我会给记忆打时间戳和置信度,召回时按「相关性 × 新鲜度」排序,定期清理低置信度条目。这既是成本控制,也是精度保障。
第三是召回预算分级。不是每轮对话都需要查长期记忆。闲聊、一次性任务(「帮我翻译这句话」)完全可以跳过检索,省掉一次向量查询和几百毫秒的延迟;只有识别到「这个问题和用户背景相关」时才触发。用一个轻量分类器或直接在 prompt 里让主模型判断,检索调用量能砍掉一半以上。
产品侧最关键的一条:让用户可感知、可修正
长期记忆产品设计里最容易翻车的是「黑盒记忆」——AI 记住了你不知道它记住的东西,还在不合适的场合用出来。所以我会坚持两个设计:记忆里的事实类条目对用户可见可删(类似「管理我记住的信息」入口);模型使用记忆生成回复时,涉及敏感推断的要显式说出来源(「根据你之前提到……」)。这不只是体验问题,也是合规要求,个保法对这类用户画像数据有明确的最小必要和可删除要求。
可能的追问
- 什么信息不该记? 答:三类——一次性信息(这次任务的临时参数)、敏感信息(密码、身份证、病历细节,除非用户明确要求且场景合规)、以及模型推断出来但未经用户确认的标签(「用户应该是学生」这类猜测,记错了非常伤人)。
- 召回了错误记忆导致回复出问题,怎么归因? 答:看全链路日志:写入时存的原文对不对(写入错)、检索时返回的 top-k 里有没有正确答案(召回错)、有正确答案但模型没用(生成错)。三种错对应三种修法:改写入判断、改 embedding 或混合召回、改 prompt 里的记忆使用指令。
- 多模态记忆(图片、文件)怎么处理? 答:文件类不做全文向量化进长期记忆,太重;存元数据(文件名、摘要、上传时间)加按需加载。图片走多模态 embedding 单独建索引,和文本记忆分库,召回时按意图路由。