前言¶
在 DeepSeek Harness 的使用場景中,開發者經常需要在不干擾請求流的情況下了解當前的負載情況。dsh-concurrency-meter 旨在解決這一痛點,它是一個只讀的模型請求併發監控工具。
插件概況¶
該插件由 Wanbinyu 維護,遵循 MIT 許可證。它接入 DSH 官方的 llm/stream 調用鏈,用於展示當前活動請求、峯值併發、執行結果和各供應商統計。與需要攔截或修改請求的中間件不同,此插件僅負責觀察調用鏈,不會攔截、排隊或改變模型請求結果。
核心功能¶
插件提供以下核心能力:
- 實時監控:展示當前活動數、峯值併發、已啓動請求和失敗數。
- 供應商統計:分供應商統計成功、失敗、中止與未完整消費的流。
- 請求詳情:展示活動請求的供應商、模型、用途和已運行時間。
- 閾值提醒:默認併發達到 3 時顯示提醒,閾值可在配置中修改。
- 性能優化:設置頁打開期間每秒刷新,關閉後不進行瀏覽器輪詢。
- 內存管理:支持重置內存統計,重置操作不會取消正在運行的請求。
- 隱私保護:不讀取消息、提示詞、模型輸出、憑據或會話 ID。
- 非侵入性:只觀察調用鏈,不限流、不排隊。
安裝與啓用¶
安裝前請確保環境滿足要求:Node.js 版本 >= 22.19,以及 DeepSeek Harness 版本 >= 0.1.0-rc.6。
- 安裝插件:
使用以下命令將插件添加到 Web 配置中:
dsh plugin --profile web add https://github.com/Wanbinyu/dsh-concurrency-meter/releases/download/v0.1.6/dsh-concurrency-meter-0.1.6.tgz
- 啓動服務:
安裝或更新後,重啓 Harness Web 服務:
dsh web
- 訪問監控:
啓動完成後,打開“設置 -> 併發監控”即可查看統計信息。
配置¶
插件支持通過配置文件調整閾值和詳情展示數量。
配置示例:
- insert:
- id: concurrency-meter
name: dsh-concurrency-meter
config:
warningThreshold: 3
maxActiveDetails: 20
| 選項 | 默認值 | 說明 |
|---|---|---|
warningThreshold |
3 |
併發提醒閾值,範圍 1-100。達到此數值時顯示提醒,不限制請求。 |
maxActiveDetails |
20 |
最多展開的活動請求數,範圍 1-100。總數仍會完整統計。 |
注意事項¶
- 非官方插件:該插件爲社區維護的非官方插件,與 DeepSeek 官方無隸屬或背書關係。
- 統計範圍:所有統計僅保存在當前 DSH Host 進程內,重啓後自動清零。插件不持久化統計,也不提供歷史趨勢、限流或請求隊列。
- 惰性流:未被實際消費的惰性流不會計入“已啓動請求”。