前言¶
在 DeepSeek Harness 的使用场景中,开发者经常需要在不干扰请求流的情况下了解当前的负载情况。dsh-concurrency-meter 旨在解决这一痛点,它是一个只读的模型请求并发监控工具。
插件概况¶
该插件由 Wanbinyu 维护,遵循 MIT 许可证。它接入 DSH 官方的 llm/stream 调用链,用于展示当前活动请求、峰值并发、执行结果和各供应商统计。与需要拦截或修改请求的中间件不同,此插件仅负责观察调用链,不会拦截、排队或改变模型请求结果。
核心功能¶
插件提供以下核心能力:
- 实时监控:展示当前活动数、峰值并发、已启动请求和失败数。
- 供应商统计:分供应商统计成功、失败、中止与未完整消费的流。
- 请求详情:展示活动请求的供应商、模型、用途和已运行时间。
- 阈值提醒:默认并发达到 3 时显示提醒,阈值可在配置中修改。
- 性能优化:设置页打开期间每秒刷新,关闭后不进行浏览器轮询。
- 内存管理:支持重置内存统计,重置操作不会取消正在运行的请求。
- 隐私保护:不读取消息、提示词、模型输出、凭据或会话 ID。
- 非侵入性:只观察调用链,不限流、不排队。
安装与启用¶
安装前请确保环境满足要求:Node.js 版本 >= 22.19,以及 DeepSeek Harness 版本 >= 0.1.0-rc.6。
- 安装插件:
使用以下命令将插件添加到 Web 配置中:
dsh plugin --profile web add https://github.com/Wanbinyu/dsh-concurrency-meter/releases/download/v0.1.6/dsh-concurrency-meter-0.1.6.tgz
- 启动服务:
安装或更新后,重启 Harness Web 服务:
dsh web
- 访问监控:
启动完成后,打开“设置 -> 并发监控”即可查看统计信息。
配置¶
插件支持通过配置文件调整阈值和详情展示数量。
配置示例:
- insert:
- id: concurrency-meter
name: dsh-concurrency-meter
config:
warningThreshold: 3
maxActiveDetails: 20
| 选项 | 默认值 | 说明 |
|---|---|---|
warningThreshold |
3 |
并发提醒阈值,范围 1-100。达到此数值时显示提醒,不限制请求。 |
maxActiveDetails |
20 |
最多展开的活动请求数,范围 1-100。总数仍会完整统计。 |
注意事项¶
- 非官方插件:该插件为社区维护的非官方插件,与 DeepSeek 官方无隶属或背书关系。
- 统计范围:所有统计仅保存在当前 DSH Host 进程内,重启后自动清零。插件不持久化统计,也不提供历史趋势、限流或请求队列。
- 惰性流:未被实际消费的惰性流不会计入“已启动请求”。