DSH Architecture Lab:在隔离环境里对比记忆与规划架构

前言

在 DSH 里给智能体加长期记忆或分步规划时,常见问题是:同一任务换一套提示或上下文,结果就对不上;实验跑在本机工作区里,还容易和日常文件、环境变量搅在一起;API 调用没有硬上限,一次批量试验就可能失控。社区里也有各类记忆类插件,但「哪种架构在真实修代码任务上更省请求、更稳」往往需要你自己搭评测脚本。

DSH Architecture Lab(仓库 f0909172434/dsh-architecture-lab)是维护者 f0909172434 发布的开发预览型 DSH 插件,归类为「记忆」。它把隔离沙箱、微额预算看门狗和外部裁判绑在一起,用四套固定配方(Recipes)在受控任务上对比原生对话、Engram 长期记忆、Plan-and-Execute 规划以及二者混合。简介中说明:带外部评判与预算控制的隔离记忆/规划实验;部分付费试验会单独持有。下文介绍其定位、能力与可复现的 CLI 用法。

这是什么

DSH Architecture Lab 是一套轻量、纯后端的 DSH 插件与命令行工具包,目标是在真实软件工程任务上科学、客观地评估和对比不同 AI Agent 架构的表现。当前版本为 0.1.0-dev.9,采用 MIT License 开源。

插件通过 cordis.patch.yml 以 bundle patch 形式挂入 DSH(见仓库 package.json 中的 dsh.bundle.patch 字段)。在 DeepSeek Harness 生态里,插件目录由社区站点 SkillHub 维护,与 DeepSeek / 幻方无官方从属关系;安装方式以目录页与仓库说明为准,资料中未给出单独的 dsh plugin add … 一行命令,启用前请在目录页核对来源并阅读源码。

核心功能

隔离沙箱

试验在隔离环境中执行:Lima Linux 虚拟机容器,或 macOS Seatbelt 沙箱,实现内存、文件系统与进程的分离,降低上下文污染。

微额计费与预算保护

内置记账代理(Broker),用 SQLite 事务锁对每次 API 派发做实时计量,并执行预算上限;默认总预算 allowance 为 NT$300(README 表述)。

外部裁判

评判与受试代理解耦:独立测试用例在隔离子进程中运行,按执行结果打分,避免依赖模型自报。

四套架构配方

在匹配条件下对比四种架构:

配方 记忆 规划 特点
A 原生 DSH 上下文 原生 DSH 直接执行 基准:单智能体对话推理
B Engram 长期记忆 原生 DSH 直接执行 向量检索历史上下文
C 原生 DSH 上下文 Plan-and-Execute 显式分解步骤并顺序验证
D Engram 长期记忆 Plan-and-Execute 记忆与规划混合

受控任务与实证记录

仓库提供 tasks/ 下的受控任务规格(如手续费计算、日期边界等),state/ 持久化实验账本与协议。README 在冻结研究协议下公布了 DeepSeek-V4.1-Flash 在任务 stale-fee 上的四配方一次试验数据(外部测试均为 7/7 通过);其中配方 B 在文档中记为请求最少、耗时与台币成本最低的一组结果。该表仅作插件设计目标的佐证,不代表你在本机的必然表现。

日常工作区模式

除研究试验外,CLI 支持 daily-import、daily-task、daily-preview、daily-adopt、daily-export 等流程,用于快照导入、任务草稿、预览 diff、采纳变更与导出结果。

环境与准备

官方 Quick Start 列出的依赖如下:

  • Node.js:v24 及以上
  • Python:3.10 及以上
  • 虚拟化:macOS Seatbelt 或 Lima Linux VM(Docker)

在把插件纳入 DSH 之前,应自行检查仓库源码与 MIT 许可证;插件随当前 DSH 进程权限运行,沙箱与预算能降低部分风险,但不能替代你对代码与网络行为的审查。

典型用法

下面步骤假设你已在本地取得该插件/仓库的运行环境(具体获取方式见 SkillHub 目录页 与 GitHub 仓库)。先做离线自检,再选配方、跑单次试验并出报告。

1. 测试与诊断

README 说明可在不配置 API 密钥的情况下跑本地测试与环境检查:

# 执行全部 85 项单元与集成测试(约 1.7 秒)
npm test

# 检查系统环境、VM、Docker 镜像与定价状态
npm run lab -- doctor

2. 查看实验室状态

npm run lab -- status

可查看当前选中的配方、剩余预算与历史试验记录。

3. 研究试验管理

npm run lab -- select B               # 选择活跃配方 A/B/C/D
npm run lab -- check-one              # 离线合规检查
npm run lab -- run-one stale-fee 1 B  # 在协议保护下执行一次 live trial
npm run lab -- report                 # 生成对比报告 comparison-v2.json
npm run lab -- stop                   # 优雅终止进行中的试验

run-one 示例中的 stale-fee 与配方 B 与 README 示例一致;正式试验可能产生 API 费用,并受预算看门狗约束。

4. 日常任务(可选)

npm run lab -- daily-import project.json
npm run lab -- daily-task task.json
npm run lab -- daily-preview <runId>
npm run lab -- daily-adopt <runId>
npm run lab -- daily-export <runId> <dir>

项目结构(便于对照文档)

├── src/                # Broker、Judge、Manager 等核心引擎
├── tasks/              # 受控任务规格
├── test/               # 85 项自动化测试
├── state/              # SQLite 注册表、预算账本、协议
├── docs/               # 架构说明与研究报告
├── containers/         # Linux VM Docker 与进程监督
└── package.json

适用场景与注意

适合谁: 需要在 DSH 上对比「要不要加 Engram 记忆」「要不要 Plan-and-Execute」的开发者;需要可重现基准、外部测试通过率与请求/耗时/成本台账的研究或插件作者。

注意:

  • 状态为 Development preview,SkillHub 标注「Paid experiments held」,启用 live trial 前请确认预算与定价脚本(如 npm run pricing 在 package.json scripts 中存在)。
  • 无头 CLI 为主,不适合当作带 UI 的记忆产品直接给终端用户。
  • 沙箱依赖 Lima/Docker 或 macOS Seatbelt,Linux 与 macOS 准备成本不同,先用 doctor 再跑 run-one。
  • 与目录中其他「记忆」类插件不同,本插件重点是架构对照实验台,而非单一记忆存储 API。

结尾

DSH Architecture Lab 把隔离执行、微额预算和外部裁判收进同一套配方框架,让你在相同任务上对比记忆与规划组合,并用 CLI 导出 comparison-v2.json 一类结构化结果。若你正在评估 DSH 上的记忆/规划方案,可从目录页安装核对版本,再按 npm test 与 npm run lab -- doctor 验证环境。

  • 目录页:https://www.skillhub.cn/plugins/f0909172434/dsh-architecture-lab
  • 源码:https://github.com/f0909172434/dsh-architecture-lab
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye