前言¶
在 DSH 裏做帶語音的智能體,常見做法是各管一段:TTS 走雲端 API、音色克隆另裝工具、翻唱再掛一條流水線。樣本和對話音頻一旦出本機,合規和延遲都要單獨算賬。ten-feng 維護的 dsh-voice-unified(社區目錄:ten-feng/dsh-plugin-voice-unified)把多音色檔案、情感朗讀、翻唱換聲直出和音樂緩存聯動收進一個插件;README 明確說明音頻默認在本機處理,不把樣本、對話或音頻上傳到雲端。下面按安裝、面板用法和工具接口說明可覈對的事實。
這是什麼¶
dsh-voice-unified 是 DeepSeek Harness 下的「模型推理」類插件(當前 package 版本 1.6.2,MIT 許可)。它統一管理多音色與音色進化、七種情感 TTS、翻唱換聲直出、音樂緩存聯動,並提供設置頁與快捷鍵打開的管理面板。宿主要求:Windows 10/11 x64、DSH ≥ 0.2.1、系統自帶 Windows SAPI 中文音色(如 Microsoft Huihui Desktop)、DSH 自帶 Python 與 numpy;ffmpeg 隨包提供(GPL 構建,見 NOTICE-ffmpeg.txt)。
核心功能¶
能力在 README 中以表格歸納,此處按使用路徑簡述。
音色與樣本¶
- 多音色檔案:創建、命名、描述、標籤、刪除、啓用/停用;每個檔案獨立管理樣本、訓練版本、試聽記錄。
- 全局默認音色:全局唯一默認,按需語音回覆與默認翻唱使用;可隨時切換。
- 臨時音色:通過
voice.speak/voice.cover.run可臨時指定檔案,不改變全局默認。 - 樣本與進化:上傳/錄音/參考音頻、追加樣本、靜音切片、質量檢測、時長統計、增量訓練、版本回滾。
情感語音與按需播報¶
情感類型包括:平靜、開心、溫柔、嚴肅、安慰、興奮、低落;支持情緒/語速/音調/停頓參數、跨輪情緒與重置。
默認不自動播報每條模型回覆;只有用戶明確說「唱/說/語音/朗讀/翻唱」等時才生成。也可在「語音設置」打開「始終語音回覆」。語音回覆會省略過程說明;翻唱或按需語音完成後默認寫入當前會話,對話內直接播放,失敗不阻塞普通對話。
翻唱與音樂聯動¶
翻唱流水線:STFT 中置軟掩碼分離 → 音色轉換 → 默認清唱+伴奏(主唱清晰、原唱人聲關閉)→ MP3/WAV;支持異步隊列、日誌、重試、導出。
音樂插件聯動:可接收緩存文件路徑/URL/歌曲名,監聽緩存目錄,也可直接抓取音樂插件當前音頻流。
對話體驗¶
- 回覆與翻唱統一爲微信式語音氣泡,按時長自適應寬度(1.6.2 起調整了寬度與內邊距公式)。
- 右鍵對話內語音播放器可「轉文字」;TTS 優先用原始文本,其他音頻走本地識別。
管理界面與工具¶
- 入口:設置 → 聲音,或 Ctrl+Shift+V;四頁:音色管理、語音設置、翻唱任務、全局狀態;標題欄可拖動。
- 對外提供 14 個命令的完整參數與返回;因 DeepSeek API 工具名僅接受
^[a-zA-Z0-9_-]+$,插件默認註冊下劃線別名(如voice_profile_create)及統一入口voice(action爲點號命令名,params爲參數對象)。點號原名可通過DSH_VOICE_DOTTED_TOOLS=1可選開啓。詳見倉庫內docs/TOOLS.md。
數據默認目錄 ~/.dsh/dsh-voice-unified/,可用環境變量 DSH_VOICE_HOME 覆蓋;含 state.json、samples/、audio/replies/、audio/covers/、cache/ 等(完整樹見 README)。
安裝與啓用¶
完整步驟見倉庫 INSTALL.md。README 給出的添加方式爲本地 link(profile 名按你的 DSH 安裝替換):
# 在插件目錄執行;profile 名按你的 DSH 安裝替換
dsh plugin --profile desktop add "link:C:\絕對路徑\dsh-voice-unified"
# 重啓 DSH 後生效
插件以當前 DSH 進程權限運行;安裝前應自行查看 GitHub 源碼 與許可證。社區目錄 skillhub.cn 爲獨立站點,與 DeepSeek / 幻方無官方從屬關係。
典型用法¶
按 README「快速使用」可復現主鏈路:
- 在「設置 → 聲音」或 Ctrl+Shift+V →「音色管理」→「新建音色」。
- 上傳 2~4 段 3~15 秒清晰人聲(wav/mp3/m4a/flac/ogg),點擊「訓練」。
- 訓練完成後「試聽」;滿意後「設爲默認」。
- 對話中說「唱一下/說一句/用語音/朗讀/翻唱」等觸發語音;或在「語音設置」開啓「始終語音回覆」。
- 「翻唱任務」中選擇音樂緩存文件或本地上傳,選音色,「開始翻唱」;默認完成後作爲語音回覆進入當前會話,並可導出 MP3/WAV。
- 右鍵語音播放器 →「轉文字」查看或複製文本。
倉庫內還提供引擎與驗收腳本(如 node tests/core-smoke.mjs、node tests/live-acceptance.mjs 等),用於自測,見 README「自測」一節。
適用場景與注意¶
適合:需要在 DSH 對話裏統一管克隆音色、情感朗讀和翻唱、且希望音頻留在本機的 Windows 用戶;已與 DSH 音樂類插件做緩存聯動的場景。
注意:
- 平臺與依賴以 README 爲準(Windows x64、DSH ≥ 0.2.1、Node ≥ 20 等)。
- 翻唱與非 TTS 音頻的「轉文字」走本地識別,可能不完全準確。
- 配置項、硬件建議、已知限制分別見
docs/CONFIG.md、docs/HARDWARE.md、docs/LIMITATIONS.md。
結尾¶
dsh-voice-unified 把音色檔案、情感 TTS、翻唱直出和音樂緩存收到同一套本地流程裏,並通過管理面板與 voice 工具入口對接模型側調用。進一步瞭解可訪問社區目錄頁 https://www.skillhub.cn/plugins/ten-feng/dsh-plugin-voice-unified 與源碼倉庫 https://github.com/ten-feng/dsh-plugin-voice-unified。