前言¶
DeepSeek Harness (DSH) 的核心架构是「一切皆插件」。当生态中引入第三方插件时,长会话运行、UI 渲染、后台请求、工具任务、监听器与计时器压力等问题会变得难以定位。单纯观察现象无法确认是哪个组件的负担,而手动对比往往缺乏统计显著性。
qinshige/dsh-performance-guard 是一个针对 DeepSeek Harness Host + Web Client 的插件,用于诊断上述性能瓶颈。它提供可逆的配置文件隔离和可量化的前后对比验证。该插件属于 admin-security 分类,由开发者 qinshige 维护。
核心功能¶
插件提供了一套完整的性能监控与实验框架:
- 60 秒浏览器检查:每秒采集 FPS、长任务、事件时序、布局偏移、资源时序、DOM 大小,以及会话快照打开及两次重绘后的会话就绪状态。
- Host 进程监控:采集 CPU、RSS、堆内存、事件循环延迟,以及 Node.js 活动资源计数(监听器、计时器、子进程)。
- DSH 原生工具观察:在检查期间观察
tools/execute、llm/stream和session/event,记录工具耗时/失败、模型耗时/首块/缓存标记,以及广泛的会话事件分类。 - 会话结构追踪:以内容无关的方式记录长会话结构,包括事件、回合、消息、工具调用/结果、助手块以及压缩计数。
- 明确测量覆盖:统计前台/后台时间,生成/上传/接受/无效/拒绝/驱逐事件,Host/FPS 覆盖率,以及采样开销。
- 统一时间线:每秒对齐浏览器、Host、工具、模型和会话活动。
- A/B 合法性闸门:基于会话、时长、大小、覆盖率、浏览器能力、视口、环境版本和工作负载指纹设置有效性检查。
- 可逆插件隔离:支持第三方插件的稳定半集建议和精确隔离集报告,以及历史基线选择。
- 持久化多运行实验:支持至少 3 个有效索引配对的多运行实验,使用配对差异 Student 95% 置信区间和偏置校正的配对 Hedges’ g。结果标记为
improved、regressed、no-effect或inconclusive。 - 跨重启二分法:提供跨重启的插件二分法指导,测试改进半集或无效应补集。
- 恢复中心:管理不完整、未验证和回滚不完整的配置文件事务。
- 本地报告:生成带有脱敏 JSON 和静态 HTML 的基准测试和聚合实验报告。
安装与启用¶
使用 pnpm 安装并构建后,通过 DSH 插件命令链接。
pnpm install
pnpm run build
dsh plugin --profile web add link:$(pwd)
安装完成后,重启 DSH Web,进入 Settings → Performance Guard 即可使用。
若已通过 npm 发布,也可以直接使用:
dsh plugin --profile web add dsh-performance-guard
使用流程¶
- 建立基线:打开目标会话并启动 60 秒基线检查。
- 重现问题:执行导致卡顿的操作,如会话切换、滚动、工具卡片展开和工具执行。
- 检查分析:查看发现、时间线、Host 活动和测量覆盖率。
- 配置实验:在 Repeated experiments 中,选择有效的基线、插件池、主要指标和运行次数(3/5/7),完成剩余的基线运行。
- 隔离与收集:创建隔离配置文件,使用生成的命令重启并收集候选运行。
- 迭代优化:遵循持久化的下一步操作:递归进入改进半集或测试无效应补集。每次创建新隔离配置前需返回源配置文件。
- 导出与修复:导出聚合实验 JSON/HTML,必要时检查 Recovery Center。
安全与隐私¶
- 安全模式:创建
$DSH_HOME/profiles/<profile>-perf-safe-<id>目录,包含元数据、node_modules和 Loader 覆盖层。操作前写入准备日志,创建后立即标记所有权,最后写入完成标记。 - 直接禁用:在替换
cordis.patch.yml前写入持久化备份和准备日志。 - 回滚机制:回滚操作验证更改后的 SHA-256,仅在未覆盖用户编辑时停止,并仅清理完全匹配的目录。
- 客户端限制:客户端事件环上限为 5,000 个事件和 8 MiB。
- 隐私保护:
- 不收集:提示词、响应、DOM 文本、原始会话 ID、工具参数/结果、请求路径/体/头、Cookie、凭据、环境变量值。
- 仅报告必要信息:插件/工具名称、模型
provider/model/purpose。 - 指纹化:运行指纹仅包含软件/浏览器版本、平台/架构、CPU 数、总内存、视口、DPR。资源域和会话 ID 在持久化前进行哈希处理。
- 存储位置:报告位于
$DSH_HOME/performance-guard,永不自动上传。
适用场景与注意¶
- 适用场景:长会话性能诊断、第三方插件组压力测试、工具与定时器压力分析、需要量化验证修复效果的开发流程。
- 注意:
- 插件以当前 DSH 进程权限运行,安装前应检查源码与许可证。
- DSH 不暴露 Shell 重启 API,插件返回精确的启动命令。
- 手动实验仅提供中等置信度(Correlated),无法升级为确认(Confirmed)。
结尾¶
DSH Performance Guard 旨在通过可复现的实验流程和隔离手段,帮助开发者精准定位性能瓶颈。它提供了从数据采集、隔离实验到报告导出的完整闭环。