前言¶
在使用 DeepSeek Harness (DSH) 進行開發時,開發者常需要監控模型的推理過程和性能指標。雖然 DSH 原生界面提供了基礎信息,但在流式輸出時,關於推理進度、首 Token 延遲以及每秒 Token 生成速率的實時數據往往不夠直觀。
dsh-response-meta 插件旨在解決這一痛點,通過在 Web 界面的回覆流中直接嵌入一個輕量級的運行時摘要,讓開發者無需離開界面即可掌握模型狀態。
插件定位¶
dsh-response-meta 是一個 DSH Web 插件。它爲每條模型回覆添加一個實時運行時摘要,包含模型名稱、推理程度、每秒 Token 數、時間戳、總運行時間和首 Token 延遲。該摘要在模型響應時即時顯示並隨數據流更新,不會等待回覆完成。
核心功能¶
- 實時摘要更新:在流式輸出過程中,實時顯示模型、推理程度和估算的吞吐量(tokens/s)。
- 完整指標展示:回覆完成後,展示模型名稱、tokens/s、時間戳、總運行時間以及 TTFT(首 Token 時間)。
- UI 優化:自動隱藏重複的原生助手時間戳,保留用戶消息時間戳和原生使用詳情按鈕。
- 中斷支持:對於手動中斷的回覆(包括在推理階段中斷),也會在消息流中顯示摘要。
安裝與配置¶
插件需要 DSH 0.1.5-rc.1 版本配合 Web 配置文件運行。v0.4.0 版本優化了對瞬態事件和打包流的處理。
- 執行安裝命令:
dsh plugin --profile web add github:Unintendedz/dsh-response-meta#v0.4.0
- 安裝完成後,必須重啓正在運行的 DSH Web 服務才能加載新插件。
使用示例¶
插件會在回覆流中根據狀態顯示不同的摘要內容:
- 流式輸出中:
deepseek-v4-pro · 思考 1.5k 字 · ~42 tok/s - 回覆完成:
deepseek-v4-pro · 思考 15 tok · 46 tok/s · 14:16 · 用時 2分24秒 · 首 token 2.1秒 - 中斷回覆:
deepseek-v4-pro · 思考 1.5k 字
注意事項¶
- 版本依賴:需要 DSH 0.1.5-rc.1 及以上版本。
- 渲染邏輯:缺失的字段會被省略。當所有字段均不可用時,不會進行任何渲染。
- 模型繼承:後續輪次如果沒有新的請求頭,會繼承最近已知的模型名稱。