dsh-strata-monitor:在 DSH 對話界面旁實時查看本地 Strata 模型服務狀態

前言

在 DeepSeek Harness(dsh)裏對接本地 Strata 推理服務時,模型是否在忙、令牌速率、顯存佔用往往要另開終端或自己 curl /status、/metrics。對話過程中很難一眼判斷「當前請求有沒有在跑、隊列裏還有多少」。下面介紹的插件把 Strata 的只讀狀態收進 GUI:在消息輸入框旁顯示一塊狀態 pill,懸停可看完整指標,面板每 5 秒刷新一次。

這是什麼

dsh-strata-monitor 是 DSH 的客戶端插件,由 ARustamA 維護,在 Harness 圖形界面裏對本機 Strata model server 做 live monitor。它不替代 Strata 自身的運維面板,而是在你寫消息、發請求的同一塊 UI 上給出 state、token rate、VRAM、最近一次請求耗時等摘要。

源碼與說明見 GitHub 倉庫;社區目錄頁:skillhub.cn 條目。DSH 生態主張「一切皆插件」;目錄站爲社區聚合,與 DeepSeek / 幻方無官方從屬關係。

當前 package 版本爲 0.1.0,許可證 MIT。

核心功能

插件在對話撰寫器(message composer)旁渲染一個 pill,鼠標懸停顯示更完整的 tooltip(倉庫 README 中有界面截圖)。

展示字段與數據來源如下(均來自 Strata 只讀 HTTP 接口):

內容 讀取接口
state(busy / idle / offline)及 phase GET /status
實時 token rate、均值 rate、prefill rate GET /status、GET /metrics
已生成 / prompt tokens、排隊請求數、已用時間 GET /status
模型名、engine 版本、context size GET /metrics
空閒 VRAM、arena size、expert-cache size GET /metrics
上次請求:耗時、prompt / output tokens、decode 速度、cache 命中率 GET /metrics

刷新週期爲 5 秒。若無法連上 Strata,pill 顯示 offline,而不是展示過期數字。

實現上分爲兩部分(README 說明):

  • Host(index.js):在 composition 的 web server 上註冊只讀路由 GET /strata/monitor,聚合 Strata 的 /status 與 /metrics 後返回緊湊摘要;跨源請求拒絕,除 GET / HEAD 外返回 405。
  • Browser(client.js):在撰寫器旁渲染 pill,每 5 秒輪詢上述路由。

面板只讀 Strata 狀態端點,不需要 API key。

環境與依賴

安裝插件前確認:

  • DeepSeek Harness 0.2.1-rc.2 或更新(開發與測試目標含 0.2.2-rc.1;package.json 中 engines.dsh 另有上限說明,升級大版本前請對照倉庫)
  • Node.js >= 22.19
  • 本機運行中的 Strata server,默認應能響應 http://127.0.0.1:8080 上的 /status 與 /metrics

安裝與啓用

  1. 按你實際使用的 profile 替換命令中的 web(與主機 profile 一致)。
  2. 執行官方安裝命令:
dsh plugin --profile web add github:ARustamA/dsh-strata-monitor
  1. 重啓 dsh host,客戶端注入纔會生效(package.json 中 dsh.client.platform 爲 web,immediately 爲 true)。

配置

變量 默認值 含義
STRATA_URL http://127.0.0.1:8080 Strata 服務的基礎 URL

Strata 不在本機或端口不同時,在安裝/運行環境中設置 STRATA_URL 即可;插件仍通過 host 側代理訪問,瀏覽器只請求同源下的 /strata/monitor。

典型用法

日常流程可以概括爲:

  1. 啓動 Strata(確保 /status、/metrics 可訪問)。
  2. 用上述命令把插件裝入當前 profile 並重啓 host。
  3. 打開 DSH Web 對話界面:輸入框旁應出現狀態 pill;推理進行中可觀察 busy 與 token rate,閒時多爲 idle。
  4. 需要細節時將指針移到 pill 上查看 tooltip 中的 metrics 彙總。
  5. 若 pill 長期爲 offline,先檢查 Strata 進程與 STRATA_URL,再在瀏覽器網絡面板確認對 /strata/monitor 的輪詢是否成功。

倉庫 README 中給出本地開發用的 mock:

npm test                    # node --test "test/*.test.js"
node test/mock-strata.mjs   # 在 :8080 上模擬 Strata,帶捕獲的 payload

適用場景與注意

適合:在本機或固定地址跑 Strata、希望在 DSH 裏寫 prompt 的同時盯推理負載與顯存的智能體 / 模型開發者;不想爲看狀態單獨寫腳本或開第二個監控頁的場景。

注意:

  • 插件以當前 dsh 進程權限運行,host 側會代表你去請求 STRATA_URL。安裝前請瀏覽 源碼 與 MIT 許可證,確認可接受其網絡訪問範圍。
  • 僅監控只讀端點,不修改 Strata 配置;安全邊界仍取決於 Strata 自身是否只對內網暴露。
  • 分類爲客戶端插件,依賴 @deepseek-ai/dsh-client-ui-conversation 與 @deepseek-ai/dsh-host-webserver 等 peer 包,需與所用 DSH 版本匹配。

結尾

dsh-strata-monitor 把 Strata 的 /status、/metrics 收成對話旁的 pill 與 tooltip,5 秒刷新,連不上則明確標爲 offline。若你已在 Harness 裏用 Strata 做本地推理,可用一條 dsh plugin --profile <你的 profile> add github:ARustamA/dsh-strata-monitor 裝上,按需配置 STRATA_URL 後重啓 host 即可。

  • 目錄頁:https://www.skillhub.cn/plugins/ARustamA/dsh-strata-monitor
  • GitHub:https://github.com/ARustamA/dsh-strata-monitor
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜