在開發 DeepSeek Harness (DSH) 應用或插件時,開發者通常需要掌握請求的耗時分佈、模型調用成本、工具執行情況以及緩存命中率,以便進行性能優化和預算控制。現有的監控方案往往需要採集對話內容,或者難以在本地開發環境中無縫集成。dsh-telemetry 作爲一個本地優先的插件,旨在提供對 Harness 運行時行爲的可觀測性,同時默認不採集敏感的對話內容。
是什麼¶
這是一個 DeepSeek Harness 插件,由 duyanta123 維護,採用 MIT 許可證。它不進行業務分析,不修改請求內容,也不會上傳用戶對話到任何第三方平臺。
核心能力¶
插件記錄請求、模型、工具和插件的生命週期指標,包括延遲、Token 數量、成本估算、錯誤率以及緩存情況。它主要用於回答以下問題:
* 單次請求的耗時是多少?
* 時間消耗主要在模型調用、工具執行還是插件鉤子上?
* 輸入輸出 Token 數量是多少?重試帶來了多少額外成本?
* 哪些工具調用最慢且失敗率最高?
* 哪些插件拋出了異常或阻塞了流程?
* 緩存是否命中?模型路由是否節省了成本?
安裝與啓用¶
推薦通過 DSH 的插件管理命令安裝。
dsh plugin --profile <name> add "github:duyanta123/dsh-telemetry#main"
安裝完成後,重啓對應的 profile(例如 dsh --profile <name>),捕獲會自動開始。
使用與查詢¶
安裝後,可以通過命令行查詢狀態或啓動 Web UI。
# 查看運行狀態
node <profile>/node_modules/dsh-local-telemetry/bin/telemetry.mjs --status
# 啓動本地只讀 Web UI(綁定 127.0.0.1)
node <profile>/node_modules/dsh-local-telemetry/bin/telemetry.mjs --ui --port 47610
通過 Web UI,可以查看請求概覽、P95 延遲、首 Token 時間、Token/緩存命中率、估算成本以及錯誤分類。通過 profile patch 配置,可以設置數據存儲方式,例如使用 SQLite。
兼容性與隱私¶
- Node.js 版本:支持 JSONL 和純 CLI 模式(Node.js >= 18);SQLite 後端需要 Node.js >= 22.5。
- 隱私保護:默認不採集提示詞、回覆、文件內容或密鑰。僅記錄名稱、ID、計數、狀態、持續時間和 Token 總數。
- UI 安全:Web UI 是本地只讀的,且僅綁定到 127.0.0.1。
總結¶
dsh-telemetry 提供了一種在本地、隱私友好的方式來量化 Harness 的運行行爲。開發者可以通過它深入瞭解系統性能和成本結構,而無需擔心敏感數據泄露。