前言¶
DeepSeek Harness (DSH) 的核心設計理念是“一切皆插件”。在開發或調試智能體時,文本回復雖然信息量大,但缺乏聽覺反饋,難以直觀評估語氣或流暢度。dsh-tts 插件旨在解決這一問題,它爲 DSH 的 Web UI 提供了文本轉語音(TTS)能力,允許智能體的回覆被實時朗讀出來。
插件定位¶
goodandready/dsh-tts 是由 GooDAnDReaDY 維護的 DSH 插件。它的核心功能是在 Web UI 中通過語音朗讀智能體的回覆。它採用多提供者回退鏈機制,支持從離線本地引擎到雲端 API 的多種合成方案。插件本身基於 MIT 許可證發佈。
核心功能¶
本地離線引擎與未來支持¶
插件內置了離線系統引擎,包括 Edge TTS、Piper 和 eSpeak。這些引擎無需雲 API 密鑰即可運行,適合對隱私要求高或網絡環境受限的場景。
對於 Kokoro-82M 和 F5-TTS 等神經模型,插件支持下載權重並顯示下載狀態,但不包含神經推理運行時。這意味着這些提供者目前無法直接工作,插件會如實報錯並繼續嘗試回退鏈中的下一個提供者。
實時流式音頻與低延遲¶
該插件實現了低於 300 毫秒的實時流式音頻傳輸。它通過 SSE(Server-Sent Events)路由 /dsh-tts/stream 將合成後的音頻流直接推送到瀏覽器,並使用 AudioWorklet 進行 PCM 處理,確保播放無卡頓或雜音。
IT 術語字典與多智能體人設¶
插件內置了 IT 術語發音字典,支持將 SQL、Nginx、Kubernetes 等技術術語轉換爲標準的語音讀法。同時,它支持爲不同的子代理(Subagent)分配獨立的聲音、語速和 SSML 風格,實現多角色對話。
Messenger 集成與語音導出¶
插件支持將語音合成集成到 Messenger(Telegram/Discord)網關中。此外,用戶可以通過 exportAudioClip(text) 函數導出任意文本的語音片段爲音頻文件,並在 Web UI 的歷史記錄中直接下載。
安裝與啓用¶
由於官方未提供明確的 CLI 安裝命令,建議通過以下方式手動安裝:
- 通過目錄或源碼安裝:將插件代碼部署到 DSH 的插件目錄中。
- 在設置中手動安裝:在 DSH 的 Web UI 設置界面中找到插件管理,手動指定插件源進行安裝。設置界面會提供實時的下載進度條和 SHA-256 校驗。
- 檢查依賴:安裝前需確保已安裝以下對等依賴(Peer Dependencies):
@deepseek-ai/cordis@deepseek-ai/dsh-tools@deepseek-ai/dsh-credentials@deepseek-ai/dsh-host-webserver@deepseek-ai/dsh-settings@deepseek-ai/schemastery
典型用法¶
啓用插件後,在設置中配置提供者回退鏈。例如,可以優先使用離線的 Piper 引擎,當其不可用時自動切換到 ElevenLabs 或其他雲端 API。
在代碼層面,可以通過調用 exportAudioClip(text) 方法將文本轉換爲音頻流進行導出。如果需要啓用語音交互(如 VAD 介入),則需額外安裝 @goodandready/dsh-voice 插件。
注意事項¶
- 安全性:所有 API 密鑰僅在 DSH 後端處理,不會發送到客戶端瀏覽器,確保了憑證安全。
- 神經模型限制:Kokoro-82M 和 F5-TTS 目前僅提供權重下載,推理邏輯需單獨配置運行時環境。
- 網絡依賴:使用 Edge TTS 等本地引擎時通常需要系統級的 CLI 工具(如
edge-tts)或 Python 環境;使用雲端 API 則需要網絡連接。
總結¶
dsh-tts 爲 DeepSeek Harness 提供了一套完整的 TTS 解決方案,兼顧了離線可用性和雲端高性能。通過提供者回退鏈和實時流式傳輸,它能夠無縫集成到現有的智能體工作流中,提升交互體驗。更多細節可查閱 GitHub 倉庫 或 插件目錄。