前言¶
DeepSeek Harness (DSH) 採用插件化架構,允許用戶擴展功能。在進行模型推理調試或驗證時,開發者有時需要確認發出的請求模型是否與上游返回聲明的模型一致。DSH Model Audit 是一個獨立的本地插件,用於對比請求模型與上游響應模型。
這是什麼¶
這是一個非官方的本地插件,由 jghwwnq 維護,基於 MIT 許可證。它運行在 DSH 的宿主環境中,能夠讀取並比對 outgoing request model(發出的請求模型)與 upstream response model(上游響應聲明的模型)。
核心功能¶
該插件主要提供以下能力:
- 模型比對:對比 outgoing request model 與 upstream response model。
- 協議支持:支持 DeepSeek Messages、GPT Responses 和 Chat Completions。
- 平臺兼容:在 Web 版本和 Desktop 版本中均可工作。
- 調用監控:監控
llm/stream和全局fetch調用。 - 元數據保留:保留模型標識符、響應標識符、使用情況、時序和調用目的等元數據。
安裝與啓用¶
插件未發佈到 npm,僅作爲本地包使用。
Web 版本安裝¶
在 Web 版本中,通過 CLI 添加插件目錄:
dsh plugin --profile web add /absolute/path/to/dsh-model-audit --offline --ignore-scripts
桌面版安裝¶
桌面應用獨佔其 profile,CLI 會拒絕 --profile desktop。請在桌面應用的插件頁面(Installed plugins)中添加絕對目錄路徑。
啓用步驟¶
- 安裝後,重啓 DSH 一次以註冊依賴解析。
- 在 DSH 界面中啓用 Model monitor。
- 打開其詳情面板,選擇 Open monitor。
- 後續的開關切換是實時的。
典型用法¶
安裝並啓用後,插件會在內存中記錄調用數據。
- Web 版本:Open monitor 會在新的瀏覽器標籤頁中打開儀表板。
- 桌面版本:儀表板在應用窗口內渲染(因爲桌面殼禁用了 popup),需通過頭部按鈕或 Escape 鍵關閉。
- 數據保留:記錄僅在內存中,禁用或重啓 DSH 後會自動清除。
適用場景與注意¶
該插件適合需要驗證模型映射關係的開發者。
注意事項:
* 插件版本 0.1.7-rc.2 針對 DSH 0.1.7-rc.2,版本不匹配可能導致加載失敗。
* 僅監控特定調用:插件僅調用 llm/stream 和全局 fetch。WebSocket、私有傳輸和回放模式不被觀測。
* 數據範圍:儀表板僅顯示模型/響應標識符、使用情況、時序和調用目的元數據,不包含提示詞、補全內容或憑證。
* 宿主更改:桌面端安裝插件後,如需更改宿主插件配置,仍需重啓 DSH。
結尾¶
DSH Model Audit 提供了輕量級的本地機制來覈對模型聲明,適合在本地調試和驗證模型推理鏈路時使用。更多細節與源碼,請參考 GitHub 倉庫。