DeepSeek Harness Web 插件:汽車風格實時性能條帶

在調試或優化 DeepSeek Harness (DSH) Web 交互時,開發者通常需要在模型生成過程中實時掌握解碼吞吐量 (tok/s) 和首字延遲 (TTFT)。dsh-live-perf-gauges 插件在 Web 界面的編輯器下方提供了一條類似汽車儀表盤的實時性能條帶,用於展示這些關鍵指標。

這是 DeepSeek Harness Web 的一個客戶端插件,由維護者 TnzGit 開發,採用 MIT 許可證。它不依賴後端,通過投影會話事件流來實現性能監控。

核心功能

該插件主要提供以下監控能力:

  • 解碼 tok/s:在生成過程中每 250 毫秒刷新一次。當適配器提供累積使用量時採用該數據,否則根據同一會話已完成步驟的字符/Token 比率進行估算。
  • TTFT 測量:計算從 step/start 到第一個流式文本、推理或工具參數增量出現的時間差。
  • Prompt/TTFT 計算:邏輯提示詞(輸入 + 緩存讀寫)除以端到端 TTFT。該指標反映了 DSH 開銷、網絡/排隊時間以及緩存 Token 的影響。
  • 流事件報告:報告每個事件的邏輯增量以及每個事件生成的 Token 數。在接收提供者使用量後,後者是精確的。
  • 輸出進度:顯示生成的 Token 進度。
  • 隱私保護:不接觸網絡服務,不存儲消息文本、提示詞、工具或憑據。僅投影時間戳、計數和最終 Token 使用量。

安裝與啓用

  1. 執行以下命令安裝插件:
    dsh plugin --profile web add github:TnzGit/dsh-live-perf-gauges
  1. 安裝完成後,需重啓正在運行的 dsh web 服務。
  2. 在瀏覽器中硬刷新頁面。條帶將在下一次模型步驟開始後出現在編輯器下方。

技術細節與注意事項

  • 插件基於 DSH 0.1.x Web 配置文件,使用 conversation.composer.dock、sessionProjections 和 contextPressure 接口。
  • 一個 SSE 事件不等於一個 Token。這對推測解碼 (MTP) 至關重要:一個被接受的 MTP 組可以在一個流式事件中傳遞多個生成的 Token。
  • 插件不包含網絡交互,也不存儲會話數據,僅依賴會話事件流中已有的時間戳和計數。

總結

該插件適合需要在本地監控性能指標且注重數據隱私的開發者。項目代碼託管在 GitHub 上,可通過目錄頁訪問。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜