前言¶
DeepSeek Harness (DSH) 官方宿主不包含語音處理能力(僅支持 LLM chat 模態和圖片附件)。開發者在構建需要語音輸入、輸出或實時轉錄的智能體時,往往需要自行集成 ASR(語音識別)和 TTS(語音合成)服務。dsh-speech 插件通過 DSH 的擴展點註冊獨立的 HTTP/WS 語音服務路由,爲宿主提供 Token 門控的語音轉寫與合成能力,無需修改 DSH 源碼。
它是什麼¶
dsh-speech 是 DeepSeek Harness 的語音能力插件,由 agent-mobile 維護,許可證爲 MIT。它通過 /s/api 和 /s/ws 路由家族,向客戶端提供音頻轉錄(ASR)與合成(TTS)服務,支持多種雲廠商及本地服務。
核心功能¶
- 多提供商支持:支持 dashscope、openai-compatible、local-relay、streaming-ws 四類適配器。
- 阿里雲百鍊原生協議:支持批量識別/合成及句級實時轉錄。
- 雲端廠商通用:兼容 OpenAI、Groq、SiliconFlow、Fireworks 等接口。
- 本地服務直連:支持 SenseVoice 和 CosyVoice2。
- 實時轉錄:支持雲端流式與本地 VAD(語音活動檢測)。
- 雲端合成:支持訊飛 TTS。
- 靈活混搭:ASR、TTS、實時轉錄的選擇器可獨立配置。
- 模型管理:內置拉取平臺最新模型按鈕。
- 密鑰安全:支持內聯填寫或環境變量引用。
安裝與啓用¶
使用官方安裝命令添加插件。首次安裝時,pnpm 可能會詢問是否允許構建本包,請根據提示放行。
dsh plugin --profile web add github:agent-mobile/dsh-speech
安裝後,啓動 dsh web,配置項隨宿主啓動自動生效。
典型用法¶
安裝插件並啓動宿主後,可進行以下配置:
1. 配置 Groq、硅基流動等雲端廠商作爲 ASR/TTS 後端。
2. 配置本地 SenseVoice/CosyVoice2 服務。
3. 配置 Deepgram 流式實時轉錄。
適用場景與注意¶
- 適用場景:私有化語音 API 部署、多雲廠商切換、本地離線語音處理。
- 注意事項:
- 桌面入口插件帶一個瀏覽器半區,可通過配置
uiEntry: false隱藏該標籤頁。 - 端口綁定由 mobile-gateway 負責(綁定 0.0.0.0)。
- Token 必填,其餘配置項有默認值。
- 百鍊實時轉錄不支持說話人分離(僅 local-relay 提供)。
- 插件以當前 dsh 進程權限運行,請檢查源碼與許可證。
- 桌面入口插件帶一個瀏覽器半區,可通過配置