在調試或優化 DeepSeek Harness (DSH) Web 交互時,開發者通常需要在模型生成過程中實時掌握解碼吞吐量 (tok/s) 和首字延遲 (TTFT)。dsh-live-perf-gauges 插件在 Web 界面的編輯器下方提供了一條類似汽車儀表盤的實時性能條帶,用於展示這些關鍵指標。
這是 DeepSeek Harness Web 的一個客戶端插件,由維護者 TnzGit 開發,採用 MIT 許可證。它不依賴後端,通過投影會話事件流來實現性能監控。
核心功能¶
該插件主要提供以下監控能力:
- 解碼 tok/s:在生成過程中每 250 毫秒刷新一次。當適配器提供累積使用量時採用該數據,否則根據同一會話已完成步驟的字符/Token 比率進行估算。
- TTFT 測量:計算從
step/start到第一個流式文本、推理或工具參數增量出現的時間差。 - Prompt/TTFT 計算:邏輯提示詞(輸入 + 緩存讀寫)除以端到端 TTFT。該指標反映了 DSH 開銷、網絡/排隊時間以及緩存 Token 的影響。
- 流事件報告:報告每個事件的邏輯增量以及每個事件生成的 Token 數。在接收提供者使用量後,後者是精確的。
- 輸出進度:顯示生成的 Token 進度。
- 隱私保護:不接觸網絡服務,不存儲消息文本、提示詞、工具或憑據。僅投影時間戳、計數和最終 Token 使用量。
安裝與啓用¶
- 執行以下命令安裝插件:
dsh plugin --profile web add github:TnzGit/dsh-live-perf-gauges
- 安裝完成後,需重啓正在運行的
dsh web服務。 - 在瀏覽器中硬刷新頁面。條帶將在下一次模型步驟開始後出現在編輯器下方。
技術細節與注意事項¶
- 插件基於 DSH 0.1.x Web 配置文件,使用
conversation.composer.dock、sessionProjections和contextPressure接口。 - 一個 SSE 事件不等於一個 Token。這對推測解碼 (MTP) 至關重要:一個被接受的 MTP 組可以在一個流式事件中傳遞多個生成的 Token。
- 插件不包含網絡交互,也不存儲會話數據,僅依賴會話事件流中已有的時間戳和計數。
總結¶
該插件適合需要在本地監控性能指標且注重數據隱私的開發者。項目代碼託管在 GitHub 上,可通過目錄頁訪問。