前言¶

做 Agent 的都遇到过这类反馈：模型在长对话里答应过的事，几轮之后就没了下文；用户上周说过的偏好，这周又问一遍。查日志时模型的回话看起来都「合理」，只有把跨会话的条目摊开比对，才发现它并没有真正记住。

问题不在模型会不会说话，在于「记住了」这件事没有被量化过。凭感觉调 prompt、换向量库、改摘要策略，改完之后依然只能靠人肉翻聊天记录判断有没有变好。memory-bench 就是针对这个环节的本地评测工具：用固定题型和标准指标把长期记忆能力测出来，结果可复现、可对比，可以放进发布证据里。

这是什么¶

memory-bench（智能体长期记忆评测台）是一个本地运行的长期记忆评测 Skill，属于通用 SKILL.md 格式，面向 Agent 开发者、AI 产品经理和正在做记忆方案选型的团队。它解决的问题很具体：给智能体或大模型的长期记忆能力一个可重复测出来的分数，而不是一句「感觉还行」。

官方地址：https://api.skillhub.cn/user_8a3569c1/memory-bench

核心能力¶

12 类题型，覆盖长期记忆的主要失效点¶

内置 12 类题型，其中包括时序、实体、否定、反事实、跨会话整合这几类长期记忆最容易出问题的方向。时序题考察事件先后与时间定位，否定题考察模型是否把「没做过」误当成「做过」，反事实题考察对既定事实的改写判断，跨会话整合考察从多次会话中拼出同一条完整信息的能力。

题型固定意味着同一套题目可以反复跑，改了记忆方案之后用同样的卷子再测一次，分数变化就是变化。

EM / F1 标准评分，零配置开箱即跑¶

评分使用 EM（完全匹配）与 F1 两个标准指标，不依赖人工判断，也不依赖某一家模型的说法。工具零配置即可运行，不需要额外准备数据或改配置文件就能跑起来。

可接真实 LLM 做严评¶

在规则评分之外，可以接入真实 LLM 做更严格的评判，官方支持的通道包括 SiliconFlow 与 DeepSeek。API 密钥通过环境变量注入，不写入文件、不落盘，避免评测凭证混进仓库或日志。

从 v2.4 起支持加载官方基准¶

v2.4 开始支持加载 LongMemEval、LoCoMo 等官方基准数据集，用于和公开榜单对齐。数据本身按各自许可证自行准备，工具只负责格式转换与标准评分，不代发数据集。

结果可复现、可对比、可入发布证据¶

评测结果带固定题型与固定指标，因此可以跨版本、跨方案对比，也能作为发布时的评测证据留存，而不是一段「效果不错」的口头结论。官方页标注该 Skill 自带安全稳定性 10 维实测全部 5.0。

安装与启用¶

该 Skill 为通用 SKILL.md 格式，安装与启用方式以官方页面为准：

官方地址：https://api.skillhub.cn/user_8a3569c1/memory-bench

截至本文写作时，本文未能从公开抓取结果中核实到具体的安装命令、目录约定与配置文件字段，因此这里不臆造命令行。拿到 Skill 后按其中的 SKILL.md 说明在目标环境（Cursor / Codex CLI / Claude Code）中启用即可；如果不同客户端的加载方式有差异，以 SKILL.md 与官方页面写明的为准。

典型用法¶

下面描述一次完整评测的流程，步骤依据官方简介整理，具体命令以 SKILL.md 为准。

1、准备被测对象。把需要评测的智能体或大模型接入评测台，确认评测台能够拿到模型的输出。

2、跑内置题型。先直接跑内置的 12 类题型，得到一组 EM / F1 基线分数。这一步不需要外部数据，用于确认工具链路是通的。

3、如需 LLM 严评，通过环境变量注入密钥。以 SiliconFlow 为例，密钥走环境变量传递，不在命令行明文参数或配置文件中写死：

export SILICONFLOW_API_KEY="替换为你的密钥"   # 字段名以官方文档为准

4、需要和公开榜单对齐时，从 v2.4 起加载 LongMemEval 或 LoCoMo 数据集。数据集按各自许可证自行获取，工具只做格式转换与标准评分：

# 数据需自备，路径与加载参数以官方文档为准

5、对比与归档。保持题型与指标不变，分别记录不同记忆方案下的分数，作为方案选型或发布证据的依据。

适用场景与注意¶

适合这几类人：正在自建 Agent 记忆链路、需要量化验证改造效果的开发者；需要给记忆方案选型提供可对比数据的 AI 产品经理；以及希望把评测结果写进发布材料的团队。

几点需要注意：

• 评测结果是「相对可比」，前提是题型与指标固定。换了题型或换了评分方式，前后的分数不能直接对比。
• 官方基准数据集不随工具分发，LongMemEval、LoCoMo 各自有许可证要求，使用前需自行确认授权范围。
• 密钥只走环境变量注入，不要把密钥写进配置文件或提交进仓库。
• 本地跑分只反映工具给出的题型与指标下的表现，不能等同于真实业务场景的用户体验，上线前仍需结合线上表现判断。
• 官方简介中的「安全稳定性 10 维实测全 5.0」为发布方自述数据，本文未独立复现，引用时建议标注来源。

小结¶

长期记忆的问题，靠翻聊天记录是查不完的。memory-bench 的价值在于把「模型是否真的记住了」变成一组固定题型、固定指标下可以重复得到的分数：先跑内置 12 类题型拿到基线，再按需接真实 LLM 严评或加载 LongMemEval、LoCoMo 对齐公开基准，最后把结果留作方案对比与发布证据。

官方地址：https://api.skillhub.cn/user_8a3569c1/memory-bench