前言¶
在 DeepSeek Harness(DSH)裏用模型做智能體或日常對話時,鍵盤輸入是默認路徑。若希望「說完就發、聽完再接着說」,常見做法是在瀏覽器裏反覆點錄音、等識別、再點發送,朗讀回覆時也很難自然打斷。DSH 社區插件 dsh-voice-dialog 把整條鏈路收進一次麥克風開關:自動斷句、發送前留出可編輯的確認窗口,回覆用語音播放且支持開口即打斷。下面按定位、能力、安裝與用法說明如何接入。
這是什麼¶
dsh-voice-dialog 由維護者 QiNFPV 發佈,分類爲客戶端插件,面向 DeepSeek Harness 0.2.x(桌面 / Web)。核心流程可概括爲:點一次麥克風進入語音模式 → 說話 → 約 1.2 秒靜音視爲一句結束 → 識別文本先進入輸入框,2 秒後自動發送 → 助手回覆被朗讀 → 播放過程中再次說話可立即打斷並重新聽寫。
插件當前發行版爲 0.1.3(見倉庫 package.json 與 Releases),許可證 MIT,運行時僅需 Node ≥20 與依賴 ws;默認配置不需要 Python、ffmpeg 或獨立服務。語音合成走 Microsoft Edge TTS,需能訪問 speech.platform.bing.com。可選接入本地 faster-whisper 橋接以提升識別準確度。
核心功能¶
以下能力均來自項目 README,按使用順序歸納。
連續對話與斷句¶
- 一次進入:點麥克風後無需每句話再按按鈕。
- 自動斷句:約 1.2 s 靜音結束當前句。
- 2 秒確認窗:識別結果先出現在 composer,默認 2 秒後自動發送;任意按鍵或點擊 composer 可暫停計時,改字後按 Enter 發送。
- 空閒退出:10 s 無語音則退出語音模式,避免麥克風長期佔用。
識別與文本處理¶
- 識別糾錯:可修正明顯 ASR 錯誤;含長數字串的句子會跳過糾錯,避免誤改電話、金額等。
- 口吃摺疊(Stutter collapse):如重複的「來來來來」在發送前合併。
- 短句識別:極短應答(如「嗯」「對」「好的」)按正確語種保留,而非丟棄或誤判爲英文。
- 語種:識別自動檢測;麥克風旁下拉框隻影響朗讀用音色,不鎖定識別語言。
朗讀與打斷¶
- 僅語音觸發的回覆會朗讀:鍵盤輸入的消息不播報。
- 按回復語種選音色;日語朗讀前會去掉假名注音標記。
- Barge-in:回覆播放時開始說話,播放立即停止並重新拾音。
界面與可選 Whisper¶
- 插件按鈕與設置文案隨 DSH 宿主界面在中英文間切換。
- Local Whisper update check(默認開啓):可週期檢查本地
faster-whisper與模型版本,在設置頁查看狀態;有更新時麥克風旁會出現徽標,需二次確認後才執行升級(不阻塞語音輸入)。檢查間隔、立即檢查等項見下文設置表。
環境要求¶
| 項目 | 說明 |
|---|---|
| DSH | 0.2.x(desktop / web) |
| 默認識別 / TTS | 內置路徑;TTS 需可達 speech.platform.bing.com |
| 可選 ASR | 本地 faster-whisper 橋接 |
| 插件包 | Node ≥20;運行時依賴 ws |
安裝與啓用¶
安裝包須從 GitHub Releases 獲取 dsh-voice-dialog-0.1.3.tgz,勿使用未在文檔中出現的 dsh plugin add github:... 形式。
圖形界面¶
- 下載
dsh-voice-dialog-0.1.3.tgz到持久目錄(不要放在/tmp或%TEMP%)。 - 在 DSH 中打開 Settings → Plugins → Install from file 安裝。
- 確認當前 profile 的 bundle 列表包含
dsh-voice-dialog,完全重啓 DSH。
命令行等價操作¶
將路徑替換爲本機上的 tgz 實際位置:
dsh plugin --profile desktop add /path/to/dsh-voice-dialog-0.1.3.tgz
隨後在 profile 配置的 dsh.profile.bundles 中加入 dsh-voice-dialog 並重啓 DSH。
手動解壓(備選)¶
解壓到 ~/.dsh/profiles/<profile>/node_modules/dsh-voice-dialog/ 後重啓。不要從其他機器拷貝整個 node_modules;若缺依賴,在插件目錄內執行 npm install --omit=dev。壓縮包內另有中文 安裝說明.txt 與英文 install-notes.en.txt。
典型用法¶
- 點擊 composer 左側麥克風;進入語音模式後按鈕變紅。
- 正常說話,約 1.2 秒停頓結束一句。
- 識別文本進入輸入框,2 秒後自動發送;需要改字時先按鍵或點擊輸入框暫停計時,編輯後按 Enter。
- 等待回覆朗讀;播放中直接說話即可打斷。
- 再次點擊麥克風,或靜默 10 秒,退出語音模式。
設置項¶
路徑:Settings → Plugins → Voice Dialog
- Languages in the picker:下拉里顯示的語言(默認含 Auto / 中文 / English / Japanese)。
- Show all voices (advanced):列出全部 Edge 音色。
- Auto-correct recognition:識別糾錯(長數字句跳過)。
- External APIs (optional):可填 OpenAI 兼容的 STT / TTS 端點與密鑰;留空則用內置後端。
- Stutter collapse / Robust short utterances:與上文識別行爲對應。
- Local Whisper update check:見下表。
Whisper 自動檢查(摘自文檔默認值):
| 配置項 | 默認 | 含義 |
|---|---|---|
| Auto-check local Whisper updates | On | 開關週期檢查 |
| Check interval | 24 hours | 可選 6 / 12 / 24 / 72 小時 |
| Check now | — | 立即檢查並刷新狀態 |
檢查失敗或離線時僅更新狀態文案,不影響語音管線;結果會寫入 ~/.dsh/voice-tutor-config.json 的 whisperUpdate 字段。
適用場景與注意¶
適合誰:需要在 DSH 里長時間口頭交互、希望減少「錄一句發一句」操作、並希望在聽回覆時能隨時插話的桌面或 Web 用戶。若網絡無法訪問 Edge TTS 域名,需改用設置中的外部 TTS API 或先解決連通性。
安全與許可:插件以當前 DSH 進程權限在客戶端運行,會使用麥克風並可能發起對 PyPI、Hugging Face、必應語音等站的網絡請求。安裝前建議在 GitHub 查閱源碼與 MIT 許可證,確認與自身環境策略一致。社區目錄 skillhub.cn 爲獨立站點,與 DeepSeek / 幻方無官方從屬關係,並非官方應用商店。
結尾¶
dsh-voice-dialog 把連續聽寫、發送前確認、朗讀與打斷串成一條默認路徑,並在可選 Whisper 棧上提供不阻塞語音的更新檢查。需要安裝包與詳細 Whisper 升級流程時,以倉庫 README 與 Releases 爲準。