前言¶
DeepSeek Harness (DSH) 官方宿主不包含语音处理能力(仅支持 LLM chat 模态和图片附件)。开发者在构建需要语音输入、输出或实时转录的智能体时,往往需要自行集成 ASR(语音识别)和 TTS(语音合成)服务。dsh-speech 插件通过 DSH 的扩展点注册独立的 HTTP/WS 语音服务路由,为宿主提供 Token 门控的语音转写与合成能力,无需修改 DSH 源码。
它是什么¶
dsh-speech 是 DeepSeek Harness 的语音能力插件,由 agent-mobile 维护,许可证为 MIT。它通过 /s/api 和 /s/ws 路由家族,向客户端提供音频转录(ASR)与合成(TTS)服务,支持多种云厂商及本地服务。
核心功能¶
- 多提供商支持:支持 dashscope、openai-compatible、local-relay、streaming-ws 四类适配器。
- 阿里云百炼原生协议:支持批量识别/合成及句级实时转录。
- 云端厂商通用:兼容 OpenAI、Groq、SiliconFlow、Fireworks 等接口。
- 本地服务直连:支持 SenseVoice 和 CosyVoice2。
- 实时转录:支持云端流式与本地 VAD(语音活动检测)。
- 云端合成:支持讯飞 TTS。
- 灵活混搭:ASR、TTS、实时转录的选择器可独立配置。
- 模型管理:内置拉取平台最新模型按钮。
- 密钥安全:支持内联填写或环境变量引用。
安装与启用¶
使用官方安装命令添加插件。首次安装时,pnpm 可能会询问是否允许构建本包,请根据提示放行。
dsh plugin --profile web add github:agent-mobile/dsh-speech
安装后,启动 dsh web,配置项随宿主启动自动生效。
典型用法¶
安装插件并启动宿主后,可进行以下配置:
1. 配置 Groq、硅基流动等云端厂商作为 ASR/TTS 后端。
2. 配置本地 SenseVoice/CosyVoice2 服务。
3. 配置 Deepgram 流式实时转录。
适用场景与注意¶
- 适用场景:私有化语音 API 部署、多云厂商切换、本地离线语音处理。
- 注意事项:
- 桌面入口插件带一个浏览器半区,可通过配置
uiEntry: false隐藏该标签页。 - 端口绑定由 mobile-gateway 负责(绑定 0.0.0.0)。
- Token 必填,其余配置项有默认值。
- 百炼实时转录不支持说话人分离(仅 local-relay 提供)。
- 插件以当前 dsh 进程权限运行,请检查源码与许可证。
- 桌面入口插件带一个浏览器半区,可通过配置