dsh-concurrency-meter:DeepSeek Harness 请求并发监控

前言

在 DeepSeek Harness 的使用场景中,开发者经常需要在不干扰请求流的情况下了解当前的负载情况。dsh-concurrency-meter 旨在解决这一痛点,它是一个只读的模型请求并发监控工具。

插件概况

该插件由 Wanbinyu 维护,遵循 MIT 许可证。它接入 DSH 官方的 llm/stream 调用链,用于展示当前活动请求、峰值并发、执行结果和各供应商统计。与需要拦截或修改请求的中间件不同,此插件仅负责观察调用链,不会拦截、排队或改变模型请求结果。

核心功能

插件提供以下核心能力:

  • 实时监控:展示当前活动数、峰值并发、已启动请求和失败数。
  • 供应商统计:分供应商统计成功、失败、中止与未完整消费的流。
  • 请求详情:展示活动请求的供应商、模型、用途和已运行时间。
  • 阈值提醒:默认并发达到 3 时显示提醒,阈值可在配置中修改。
  • 性能优化:设置页打开期间每秒刷新,关闭后不进行浏览器轮询。
  • 内存管理:支持重置内存统计,重置操作不会取消正在运行的请求。
  • 隐私保护:不读取消息、提示词、模型输出、凭据或会话 ID。
  • 非侵入性:只观察调用链,不限流、不排队。

安装与启用

安装前请确保环境满足要求:Node.js 版本 >= 22.19,以及 DeepSeek Harness 版本 >= 0.1.0-rc.6。

  1. 安装插件:
    使用以下命令将插件添加到 Web 配置中:
    dsh plugin --profile web add https://github.com/Wanbinyu/dsh-concurrency-meter/releases/download/v0.1.6/dsh-concurrency-meter-0.1.6.tgz
  1. 启动服务:
    安装或更新后,重启 Harness Web 服务:
    dsh web
  1. 访问监控:
    启动完成后,打开“设置 -> 并发监控”即可查看统计信息。

配置

插件支持通过配置文件调整阈值和详情展示数量。

配置示例:

- insert:
    - id: concurrency-meter
      name: dsh-concurrency-meter
      config:
        warningThreshold: 3
        maxActiveDetails: 20
选项 默认值 说明
warningThreshold 3 并发提醒阈值,范围 1-100。达到此数值时显示提醒,不限制请求。
maxActiveDetails 20 最多展开的活动请求数,范围 1-100。总数仍会完整统计。

注意事项

  • 非官方插件:该插件为社区维护的非官方插件,与 DeepSeek 官方无隶属或背书关系。
  • 统计范围:所有统计仅保存在当前 DSH Host 进程内,重启后自动清零。插件不持久化统计,也不提供历史趋势、限流或请求队列。
  • 惰性流:未被实际消费的惰性流不会计入“已启动请求”。
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜