dsh-voice-unified:DSH 統一聲音插件(本地多音色、情感 TTS 與翻唱)

前言

在 DSH 裏做帶語音的智能體,常見做法是各管一段:TTS 走雲端 API、音色克隆另裝工具、翻唱再掛一條流水線。樣本和對話音頻一旦出本機,合規和延遲都要單獨算賬。ten-feng 維護的 dsh-voice-unified(社區目錄:ten-feng/dsh-plugin-voice-unified)把多音色檔案、情感朗讀、翻唱換聲直出和音樂緩存聯動收進一個插件;README 明確說明音頻默認在本機處理,不把樣本、對話或音頻上傳到雲端。下面按安裝、面板用法和工具接口說明可覈對的事實。

這是什麼

dsh-voice-unified 是 DeepSeek Harness 下的「模型推理」類插件(當前 package 版本 1.6.2,MIT 許可)。它統一管理多音色與音色進化、七種情感 TTS、翻唱換聲直出、音樂緩存聯動,並提供設置頁與快捷鍵打開的管理面板。宿主要求:Windows 10/11 x64、DSH ≥ 0.2.1、系統自帶 Windows SAPI 中文音色(如 Microsoft Huihui Desktop)、DSH 自帶 Python 與 numpy;ffmpeg 隨包提供(GPL 構建,見 NOTICE-ffmpeg.txt)。

核心功能

能力在 README 中以表格歸納,此處按使用路徑簡述。

音色與樣本

  • 多音色檔案:創建、命名、描述、標籤、刪除、啓用/停用;每個檔案獨立管理樣本、訓練版本、試聽記錄。
  • 全局默認音色:全局唯一默認,按需語音回覆與默認翻唱使用;可隨時切換。
  • 臨時音色:通過 voice.speak / voice.cover.run 可臨時指定檔案,不改變全局默認。
  • 樣本與進化:上傳/錄音/參考音頻、追加樣本、靜音切片、質量檢測、時長統計、增量訓練、版本回滾。

情感語音與按需播報

情感類型包括:平靜、開心、溫柔、嚴肅、安慰、興奮、低落;支持情緒/語速/音調/停頓參數、跨輪情緒與重置。

默認不自動播報每條模型回覆;只有用戶明確說「唱/說/語音/朗讀/翻唱」等時才生成。也可在「語音設置」打開「始終語音回覆」。語音回覆會省略過程說明;翻唱或按需語音完成後默認寫入當前會話,對話內直接播放,失敗不阻塞普通對話。

翻唱與音樂聯動

翻唱流水線:STFT 中置軟掩碼分離 → 音色轉換 → 默認清唱+伴奏(主唱清晰、原唱人聲關閉)→ MP3/WAV;支持異步隊列、日誌、重試、導出。

音樂插件聯動:可接收緩存文件路徑/URL/歌曲名,監聽緩存目錄,也可直接抓取音樂插件當前音頻流。

對話體驗

  • 回覆與翻唱統一爲微信式語音氣泡,按時長自適應寬度(1.6.2 起調整了寬度與內邊距公式)。
  • 右鍵對話內語音播放器可「轉文字」;TTS 優先用原始文本,其他音頻走本地識別。

管理界面與工具

  • 入口:設置 → 聲音,或 Ctrl+Shift+V;四頁:音色管理、語音設置、翻唱任務、全局狀態;標題欄可拖動。
  • 對外提供 14 個命令的完整參數與返回;因 DeepSeek API 工具名僅接受 ^[a-zA-Z0-9_-]+$,插件默認註冊下劃線別名(如 voice_profile_create)及統一入口 voice(action 爲點號命令名,params 爲參數對象)。點號原名可通過 DSH_VOICE_DOTTED_TOOLS=1 可選開啓。詳見倉庫內 docs/TOOLS.md。

數據默認目錄 ~/.dsh/dsh-voice-unified/,可用環境變量 DSH_VOICE_HOME 覆蓋;含 state.json、samples/、audio/replies/、audio/covers/、cache/ 等(完整樹見 README)。

安裝與啓用

完整步驟見倉庫 INSTALL.md。README 給出的添加方式爲本地 link(profile 名按你的 DSH 安裝替換):

# 在插件目錄執行;profile 名按你的 DSH 安裝替換
dsh plugin --profile desktop add "link:C:\絕對路徑\dsh-voice-unified"
# 重啓 DSH 後生效

插件以當前 DSH 進程權限運行;安裝前應自行查看 GitHub 源碼 與許可證。社區目錄 skillhub.cn 爲獨立站點,與 DeepSeek / 幻方無官方從屬關係。

典型用法

按 README「快速使用」可復現主鏈路:

  1. 在「設置 → 聲音」或 Ctrl+Shift+V →「音色管理」→「新建音色」。
  2. 上傳 2~4 段 3~15 秒清晰人聲(wav/mp3/m4a/flac/ogg),點擊「訓練」。
  3. 訓練完成後「試聽」;滿意後「設爲默認」。
  4. 對話中說「唱一下/說一句/用語音/朗讀/翻唱」等觸發語音;或在「語音設置」開啓「始終語音回覆」。
  5. 「翻唱任務」中選擇音樂緩存文件或本地上傳,選音色,「開始翻唱」;默認完成後作爲語音回覆進入當前會話,並可導出 MP3/WAV。
  6. 右鍵語音播放器 →「轉文字」查看或複製文本。

倉庫內還提供引擎與驗收腳本(如 node tests/core-smoke.mjs、node tests/live-acceptance.mjs 等),用於自測,見 README「自測」一節。

適用場景與注意

適合:需要在 DSH 對話裏統一管克隆音色、情感朗讀和翻唱、且希望音頻留在本機的 Windows 用戶;已與 DSH 音樂類插件做緩存聯動的場景。

注意:

  • 平臺與依賴以 README 爲準(Windows x64、DSH ≥ 0.2.1、Node ≥ 20 等)。
  • 翻唱與非 TTS 音頻的「轉文字」走本地識別,可能不完全準確。
  • 配置項、硬件建議、已知限制分別見 docs/CONFIG.md、docs/HARDWARE.md、docs/LIMITATIONS.md。

結尾

dsh-voice-unified 把音色檔案、情感 TTS、翻唱直出和音樂緩存收到同一套本地流程裏,並通過管理面板與 voice 工具入口對接模型側調用。進一步瞭解可訪問社區目錄頁 https://www.skillhub.cn/plugins/ten-feng/dsh-plugin-voice-unified 與源碼倉庫 https://github.com/ten-feng/dsh-plugin-voice-unified。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜