前言¶
DeepSeek Harness (DSH) 采用插件化架构。在模型推理场景下，手动输入存在延迟，且无法处理复杂的连续语音指令。dsh-voice 插件旨在解决这一问题，它为 DSH Web UI 提供了零延迟的流式听写和语音留言功能，并支持多提供商的后备链路，确保语音输入的稳定性和实时性。
插件介绍¶
dsh-voice 是一款开源插件，专注于语音交互。该插件由 GooDAnDReaREADY 维护，采用 MIT 许可证。它通过浏览器客户端与主机端配合，实现语音转文字，并将结果注入到 DSH 的对话流程中。
核心功能¶
该插件主要提供以下能力：
- 流式听写与 VAD：利用语音活动检测（VAD），在自然停顿时切割语音片段，实现实时打字。
- 语音留言与自动发送：支持语音留言功能，录音结束后进入取消倒计时（默认 4 秒），倒计时结束自动发送，倒计时内可取消。
- 触觉按键说话：支持鼠标按住/释放手势，或键盘快捷键（如 Ctrl）进行按键说话，松开或按下 Esc 即可发送或取消。
- 零延迟浏览器字幕：使用 Chrome Web Speech API，在浏览器本地提供实时浮动字幕，无网络延迟。
- 多提供商后备链：内置 Deepgram、Groq、HuggingFace、whisper.cpp 等提供商的后备链，当主服务不可用时自动切换。
- 上下文词典注入：自动从对话草稿中提取代码变量和标识符，提高技术术语的识别准确率。
- 嵌入式音频播放器：在聊天和编辑器中提供音频预览、进度条和播放控制。
- 硬件降噪开关：支持浏览器级别的硬件噪声抑制、回声消除和自动增益控制。
- 提供商健康监控：提供实时的延迟（毫秒）、成功率和错误信息仪表盘。
- 零 API 泄漏：API 密钥在主机端通过
ctx.credentials解析，绝不发送至浏览器客户端。 - 离线本地 Whisper：支持启动本地 whisper.cpp 服务器进行离线转录。
- SenseVoice-ONNX / Sherpa-ONNX：支持 0.8.11 版本的 SenseVoice-ONNX 和 Sherpa-ONNX 引擎，提供非自回归的快速语音识别。
- 实时音频流：通过 WebSocket 桥接实现低延迟音频流传输。
- 音频可视化：支持液体波形、动态光球等音频可视化效果。
安装与启用¶
该插件通过 npm 发布。安装后，它将作为 DSH 生态系统的一部分运行。
典型用法¶
- 流式听写：点击麦克风图标，说话，插件会在停顿时自动将语音片段输入到编辑器中。
- 语音留言：点击波浪图标，录音结束后等待倒计时结束，消息将自动发送。
- 按键说话：按住波浪图标（鼠标）或 Ctrl 键（键盘）开始录音，松开或按下 Esc 取消。
适用场景与注意¶
- 语言支持：在未安装翻译插件的情况下，Web UI 界面默认为英文。
- 隐私安全：所有 API 密钥均在主机端解析，浏览器端仅负责采集音频和展示字幕，符合安全要求。
- 客户端构建：浏览器客户端的代码通过
npm run build:client命令从lib/client-src/*.js片段编译生成。
总结¶
dsh-voice 通过 VAD 切割、多提供商后备和本地化部署（如 whisper.cpp），为 DeepSeek Harness 提供了完整的语音输入解决方案。其零延迟特性和主机端密钥管理机制，适合对实时性和安全性有较高要求的开发场景。
