DSH Performance Guard:DeepSeek Harness 的性能診斷與隔離工具

前言

DeepSeek Harness (DSH) 的核心架構是「一切皆插件」。當生態中引入第三方插件時,長會話運行、UI 渲染、後臺請求、工具任務、監聽器與計時器壓力等問題會變得難以定位。單純觀察現象無法確認是哪個組件的負擔,而手動對比往往缺乏統計顯著性。

qinshige/dsh-performance-guard 是一個針對 DeepSeek Harness Host + Web Client 的插件,用於診斷上述性能瓶頸。它提供可逆的配置文件隔離和可量化的前後對比驗證。該插件屬於 admin-security 分類,由開發者 qinshige 維護。

核心功能

插件提供了一套完整的性能監控與實驗框架:

  • 60 秒瀏覽器檢查:每秒採集 FPS、長任務、事件時序、佈局偏移、資源時序、DOM 大小,以及會話快照打開及兩次重繪後的會話就緒狀態。
  • Host 進程監控:採集 CPU、RSS、堆內存、事件循環延遲,以及 Node.js 活動資源計數(監聽器、計時器、子進程)。
  • DSH 原生工具觀察:在檢查期間觀察 tools/execute、llm/stream 和 session/event,記錄工具耗時/失敗、模型耗時/首塊/緩存標記,以及廣泛的會話事件分類。
  • 會話結構追蹤:以內容無關的方式記錄長會話結構,包括事件、回合、消息、工具調用/結果、助手塊以及壓縮計數。
  • 明確測量覆蓋:統計前臺/後臺時間,生成/上傳/接受/無效/拒絕/驅逐事件,Host/FPS 覆蓋率,以及採樣開銷。
  • 統一時間線:每秒對齊瀏覽器、Host、工具、模型和會話活動。
  • A/B 合法性閘門:基於會話、時長、大小、覆蓋率、瀏覽器能力、視口、環境版本和工作負載指紋設置有效性檢查。
  • 可逆插件隔離:支持第三方插件的穩定半集建議和精確隔離集報告,以及歷史基線選擇。
  • 持久化多運行實驗:支持至少 3 個有效索引配對的多運行實驗,使用配對差異 Student 95% 置信區間和偏置校正的配對 Hedges’ g。結果標記爲 improved、regressed、no-effect 或 inconclusive。
  • 跨重啓二分法:提供跨重啓的插件二分法指導,測試改進半集或無效應補集。
  • 恢復中心:管理不完整、未驗證和回滾不完整的配置文件事務。
  • 本地報告:生成帶有脫敏 JSON 和靜態 HTML 的基準測試和聚合實驗報告。

安裝與啓用

使用 pnpm 安裝並構建後,通過 DSH 插件命令鏈接。

pnpm install
pnpm run build
dsh plugin --profile web add link:$(pwd)

安裝完成後,重啓 DSH Web,進入 Settings → Performance Guard 即可使用。

若已通過 npm 發佈,也可以直接使用:

dsh plugin --profile web add dsh-performance-guard

使用流程

  1. 建立基線:打開目標會話並啓動 60 秒基線檢查。
  2. 重現問題:執行導致卡頓的操作,如會話切換、滾動、工具卡片展開和工具執行。
  3. 檢查分析:查看發現、時間線、Host 活動和測量覆蓋率。
  4. 配置實驗:在 Repeated experiments 中,選擇有效的基線、插件池、主要指標和運行次數(3/5/7),完成剩餘的基線運行。
  5. 隔離與收集:創建隔離配置文件,使用生成的命令重啓並收集候選運行。
  6. 迭代優化:遵循持久化的下一步操作:遞歸進入改進半集或測試無效應補集。每次創建新隔離配置前需返回源配置文件。
  7. 導出與修復:導出聚合實驗 JSON/HTML,必要時檢查 Recovery Center。

安全與隱私

  • 安全模式:創建 $DSH_HOME/profiles/<profile>-perf-safe-<id> 目錄,包含元數據、node_modules 和 Loader 覆蓋層。操作前寫入準備日誌,創建後立即標記所有權,最後寫入完成標記。
  • 直接禁用:在替換 cordis.patch.yml 前寫入持久化備份和準備日誌。
  • 回滾機制:回滾操作驗證更改後的 SHA-256,僅在未覆蓋用戶編輯時停止,並僅清理完全匹配的目錄。
  • 客戶端限制:客戶端事件環上限爲 5,000 個事件和 8 MiB。
  • 隱私保護:
    • 不收集:提示詞、響應、DOM 文本、原始會話 ID、工具參數/結果、請求路徑/體/頭、Cookie、憑據、環境變量值。
    • 僅報告必要信息:插件/工具名稱、模型 provider/model/purpose。
    • 指紋化:運行指紋僅包含軟件/瀏覽器版本、平臺/架構、CPU 數、總內存、視口、DPR。資源域和會話 ID 在持久化前進行哈希處理。
    • 存儲位置:報告位於 $DSH_HOME/performance-guard,永不自動上傳。

適用場景與注意

  • 適用場景:長會話性能診斷、第三方插件組壓力測試、工具與定時器壓力分析、需要量化驗證修復效果的開發流程。
  • 注意:
    • 插件以當前 DSH 進程權限運行,安裝前應檢查源碼與許可證。
    • DSH 不暴露 Shell 重啓 API,插件返回精確的啓動命令。
    • 手動實驗僅提供中等置信度(Correlated),無法升級爲確認(Confirmed)。

結尾

DSH Performance Guard 旨在通過可復現的實驗流程和隔離手段,幫助開發者精準定位性能瓶頸。它提供了從數據採集、隔離實驗到報告導出的完整閉環。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜