dsh-tps-meter:DeepSeek Harness Web 界面實時 tok/s 懸浮窗

前言

DeepSeek Harness(DSH)在處理複雜任務時,開發者往往需要監控模型生成的速率與首 Token 延遲(TTFT)。直接在終端或日誌中查看並不直觀。dsh-tps-meter 插件在 DSH Web 界面提供了一個可拖動的懸浮窗,用於實時顯示會話輸出的吞吐量。

核心功能

該插件提供以下功能:
* 雙口徑切換:支持實時與均速兩種顯示模式的切換。
* 會話管理:提供會話列表,支持拖動位置、摺疊、關閉以及恢復已關閉會話。
* 關鍵指標:顯示本步 Token 數、累計 Token 數、首 Token 延遲(TTFT)。
* 波形可視化:在實時模式下顯示生成速率波形。
* 輕量實現:零第三方依賴,僅使用 Node 內置模塊。
* 自更新提示:檢測到新版本時,在頭部顯示更新圖標 ⟳。

安裝與啓用

使用 DSH CLI 安裝該插件:

dsh plugin --profile web add dsh-tps-meter

安裝完成後,刷新 Web 界面頁面即可看到懸浮窗。

使用方法

  1. 切換速度口徑:點擊懸浮窗右上角的按鈕,可在“實時”和“均速”之間切換。
  2. 管理會話:
    • 關閉會話:雙擊已結束的會話名稱,將其從浮窗中移除。
    • 恢復會話:雙擊列表底部的“…N 個已關閉(點此恢復)”可找回所有被關閉的會話。
  3. 查看詳情:雙擊會話名可切換當前選中的會話,此時該會話名稱以綠色高亮顯示。

技術說明

  • 權限與網絡:插件運行期只讀取會話事件,不寫入日誌、不發起模型請求。不聯網,浮窗僅輪詢本機 127.0.0.1 上的 DSH 服務。
  • 計算邏輯:
    • 實時口徑:窗口內估算 token ÷ 窗口真實跨度。在空閒時顯示 0.0。
    • 均速口徑:本步 token ÷ (當前時刻 - 首 token 時刻)。在空閒時顯示上一步平均值。
  • 限制:估算不是計費口徑。多標籤頁各自輪詢。會話識別靠“最活躍”排序。

維護者

該插件由 looking321-rt 維護,採用 MIT 許可證。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜