前言¶
在 DSH 里做带语音的智能体,常见做法是各管一段:TTS 走云端 API、音色克隆另装工具、翻唱再挂一条流水线。样本和对话音频一旦出本机,合规和延迟都要单独算账。ten-feng 维护的 dsh-voice-unified(社区目录:ten-feng/dsh-plugin-voice-unified)把多音色档案、情感朗读、翻唱换声直出和音乐缓存联动收进一个插件;README 明确说明音频默认在本机处理,不把样本、对话或音频上传到云端。下面按安装、面板用法和工具接口说明可核对的事实。
这是什么¶
dsh-voice-unified 是 DeepSeek Harness 下的「模型推理」类插件(当前 package 版本 1.6.2,MIT 许可)。它统一管理多音色与音色进化、七种情感 TTS、翻唱换声直出、音乐缓存联动,并提供设置页与快捷键打开的管理面板。宿主要求:Windows 10/11 x64、DSH ≥ 0.2.1、系统自带 Windows SAPI 中文音色(如 Microsoft Huihui Desktop)、DSH 自带 Python 与 numpy;ffmpeg 随包提供(GPL 构建,见 NOTICE-ffmpeg.txt)。
核心功能¶
能力在 README 中以表格归纳,此处按使用路径简述。
音色与样本¶
- 多音色档案:创建、命名、描述、标签、删除、启用/停用;每个档案独立管理样本、训练版本、试听记录。
- 全局默认音色:全局唯一默认,按需语音回复与默认翻唱使用;可随时切换。
- 临时音色:通过
voice.speak/voice.cover.run可临时指定档案,不改变全局默认。 - 样本与进化:上传/录音/参考音频、追加样本、静音切片、质量检测、时长统计、增量训练、版本回滚。
情感语音与按需播报¶
情感类型包括:平静、开心、温柔、严肃、安慰、兴奋、低落;支持情绪/语速/音调/停顿参数、跨轮情绪与重置。
默认不自动播报每条模型回复;只有用户明确说「唱/说/语音/朗读/翻唱」等时才生成。也可在「语音设置」打开「始终语音回复」。语音回复会省略过程说明;翻唱或按需语音完成后默认写入当前会话,对话内直接播放,失败不阻塞普通对话。
翻唱与音乐联动¶
翻唱流水线:STFT 中置软掩码分离 → 音色转换 → 默认清唱+伴奏(主唱清晰、原唱人声关闭)→ MP3/WAV;支持异步队列、日志、重试、导出。
音乐插件联动:可接收缓存文件路径/URL/歌曲名,监听缓存目录,也可直接抓取音乐插件当前音频流。
对话体验¶
- 回复与翻唱统一为微信式语音气泡,按时长自适应宽度(1.6.2 起调整了宽度与内边距公式)。
- 右键对话内语音播放器可「转文字」;TTS 优先用原始文本,其他音频走本地识别。
管理界面与工具¶
- 入口:设置 → 声音,或 Ctrl+Shift+V;四页:音色管理、语音设置、翻唱任务、全局状态;标题栏可拖动。
- 对外提供 14 个命令的完整参数与返回;因 DeepSeek API 工具名仅接受
^[a-zA-Z0-9_-]+$,插件默认注册下划线别名(如voice_profile_create)及统一入口voice(action为点号命令名,params为参数对象)。点号原名可通过DSH_VOICE_DOTTED_TOOLS=1可选开启。详见仓库内docs/TOOLS.md。
数据默认目录 ~/.dsh/dsh-voice-unified/,可用环境变量 DSH_VOICE_HOME 覆盖;含 state.json、samples/、audio/replies/、audio/covers/、cache/ 等(完整树见 README)。
安装与启用¶
完整步骤见仓库 INSTALL.md。README 给出的添加方式为本地 link(profile 名按你的 DSH 安装替换):
# 在插件目录执行;profile 名按你的 DSH 安装替换
dsh plugin --profile desktop add "link:C:\绝对路径\dsh-voice-unified"
# 重启 DSH 后生效
插件以当前 DSH 进程权限运行;安装前应自行查看 GitHub 源码 与许可证。社区目录 skillhub.cn 为独立站点,与 DeepSeek / 幻方无官方从属关系。
典型用法¶
按 README「快速使用」可复现主链路:
- 在「设置 → 声音」或 Ctrl+Shift+V →「音色管理」→「新建音色」。
- 上传 2~4 段 3~15 秒清晰人声(wav/mp3/m4a/flac/ogg),点击「训练」。
- 训练完成后「试听」;满意后「设为默认」。
- 对话中说「唱一下/说一句/用语音/朗读/翻唱」等触发语音;或在「语音设置」开启「始终语音回复」。
- 「翻唱任务」中选择音乐缓存文件或本地上传,选音色,「开始翻唱」;默认完成后作为语音回复进入当前会话,并可导出 MP3/WAV。
- 右键语音播放器 →「转文字」查看或复制文本。
仓库内还提供引擎与验收脚本(如 node tests/core-smoke.mjs、node tests/live-acceptance.mjs 等),用于自测,见 README「自测」一节。
适用场景与注意¶
适合:需要在 DSH 对话里统一管克隆音色、情感朗读和翻唱、且希望音频留在本机的 Windows 用户;已与 DSH 音乐类插件做缓存联动的场景。
注意:
- 平台与依赖以 README 为准(Windows x64、DSH ≥ 0.2.1、Node ≥ 20 等)。
- 翻唱与非 TTS 音频的「转文字」走本地识别,可能不完全准确。
- 配置项、硬件建议、已知限制分别见
docs/CONFIG.md、docs/HARDWARE.md、docs/LIMITATIONS.md。
结尾¶
dsh-voice-unified 把音色档案、情感 TTS、翻唱直出和音乐缓存收到同一套本地流程里,并通过管理面板与 voice 工具入口对接模型侧调用。进一步了解可访问社区目录页 https://www.skillhub.cn/plugins/ten-feng/dsh-plugin-voice-unified 与源码仓库 https://github.com/ten-feng/dsh-plugin-voice-unified。