前言¶

做 Agent 的都遇到過這類反饋：模型在長對話裏答應過的事，幾輪之後就沒了下文；用戶上週說過的偏好，這週又問一遍。查日誌時模型的回話看起來都「合理」，只有把跨會話的條目攤開比對，才發現它並沒有真正記住。

問題不在模型會不會說話，在於「記住了」這件事沒有被量化過。憑感覺調 prompt、換向量庫、改摘要策略，改完之後依然只能靠人肉翻聊天記錄判斷有沒有變好。memory-bench 就是針對這個環節的本地評測工具：用固定題型和標準指標把長期記憶能力測出來，結果可復現、可對比，可以放進發布證據裏。

這是什麼¶

memory-bench（智能體長期記憶評測臺）是一個本地運行的長期記憶評測 Skill，屬於通用 SKILL.md 格式，面向 Agent 開發者、AI 產品經理和正在做記憶方案選型的團隊。它解決的問題很具體：給智能體或大模型的長期記憶能力一個可重複測出來的分數，而不是一句「感覺還行」。

官方地址：https://api.skillhub.cn/user_8a3569c1/memory-bench

核心能力¶

12 類題型，覆蓋長期記憶的主要失效點¶

內置 12 類題型，其中包括時序、實體、否定、反事實、跨會話整合這幾類長期記憶最容易出問題的方向。時序題考察事件先後與時間定位，否定題考察模型是否把「沒做過」誤當成「做過」，反事實題考察對既定事實的改寫判斷，跨會話整合考察從多次會話中拼出同一條完整信息的能力。

題型固定意味着同一套題目可以反覆跑，改了記憶方案之後用同樣的卷子再測一次，分數變化就是變化。

EM / F1 標準評分，零配置開箱即跑¶

評分使用 EM（完全匹配）與 F1 兩個標準指標，不依賴人工判斷，也不依賴某一家模型的說法。工具零配置即可運行，不需要額外準備數據或改配置文件就能跑起來。

可接真實 LLM 做嚴評¶

在規則評分之外，可以接入真實 LLM 做更嚴格的評判，官方支持的通道包括 SiliconFlow 與 DeepSeek。API 密鑰通過環境變量注入，不寫入文件、不落盤，避免評測憑證混進倉庫或日誌。

從 v2.4 起支持加載官方基準¶

v2.4 開始支持加載 LongMemEval、LoCoMo 等官方基準數據集，用於和公開榜單對齊。數據本身按各自許可證自行準備，工具只負責格式轉換與標準評分，不代發數據集。

結果可復現、可對比、可入發佈證據¶

評測結果帶固定題型與固定指標，因此可以跨版本、跨方案對比，也能作爲發佈時的評測證據留存，而不是一段「效果不錯」的口頭結論。官方頁標註該 Skill 自帶安全穩定性 10 維實測全部 5.0。

安裝與啓用¶

該 Skill 爲通用 SKILL.md 格式，安裝與啓用方式以官方頁面爲準：

官方地址：https://api.skillhub.cn/user_8a3569c1/memory-bench

截至本文寫作時，本文未能從公開抓取結果中核實到具體的安裝命令、目錄約定與配置文件字段，因此這裏不臆造命令行。拿到 Skill 後按其中的 SKILL.md 說明在目標環境（Cursor / Codex CLI / Claude Code）中啓用即可；如果不同客戶端的加載方式有差異，以 SKILL.md 與官方頁面寫明的爲準。

典型用法¶

下面描述一次完整評測的流程，步驟依據官方簡介整理，具體命令以 SKILL.md 爲準。

1、準備被測對象。把需要評測的智能體或大模型接入評測臺，確認評測臺能夠拿到模型的輸出。

2、跑內置題型。先直接跑內置的 12 類題型，得到一組 EM / F1 基線分數。這一步不需要外部數據，用於確認工具鏈路是通的。

3、如需 LLM 嚴評，通過環境變量注入密鑰。以 SiliconFlow 爲例，密鑰走環境變量傳遞，不在命令行明文參數或配置文件中寫死：

export SILICONFLOW_API_KEY="替換爲你的密鑰"   # 字段名以官方文檔爲準

4、需要和公開榜單對齊時，從 v2.4 起加載 LongMemEval 或 LoCoMo 數據集。數據集按各自許可證自行獲取，工具只做格式轉換與標準評分：

# 數據需自備，路徑與加載參數以官方文檔爲準

5、對比與歸檔。保持題型與指標不變，分別記錄不同記憶方案下的分數，作爲方案選型或發佈證據的依據。

適用場景與注意¶

適合這幾類人：正在自建 Agent 記憶鏈路、需要量化驗證改造效果的開發者；需要給記憶方案選型提供可對比數據的 AI 產品經理；以及希望把評測結果寫進發布材料的團隊。

幾點需要注意：

• 評測結果是「相對可比」，前提是題型與指標固定。換了題型或換了評分方式，前後的分數不能直接對比。
• 官方基準數據集不隨工具分發，LongMemEval、LoCoMo 各自有許可證要求，使用前需自行確認授權範圍。
• 密鑰只走環境變量注入，不要把密鑰寫進配置文件或提交進倉庫。
• 本地跑分只反映工具給出的題型與指標下的表現，不能等同於真實業務場景的用戶體驗，上線前仍需結合線上表現判斷。
• 官方簡介中的「安全穩定性 10 維實測全 5.0」爲發佈方自述數據，本文未獨立復現，引用時建議標註來源。

小結¶

長期記憶的問題，靠翻聊天記錄是查不完的。memory-bench 的價值在於把「模型是否真的記住了」變成一組固定題型、固定指標下可以重複得到的分數：先跑內置 12 類題型拿到基線，再按需接真實 LLM 嚴評或加載 LongMemEval、LoCoMo 對齊公開基準，最後把結果留作方案對比與發佈證據。

官方地址：https://api.skillhub.cn/user_8a3569c1/memory-bench