dsh-voice-dialog:DSH 連續語音對話插件

前言

在 DeepSeek Harness(DSH)裏用模型做智能體或日常對話時,鍵盤輸入是默認路徑。若希望「說完就發、聽完再接着說」,常見做法是在瀏覽器裏反覆點錄音、等識別、再點發送,朗讀回覆時也很難自然打斷。DSH 社區插件 dsh-voice-dialog 把整條鏈路收進一次麥克風開關:自動斷句、發送前留出可編輯的確認窗口,回覆用語音播放且支持開口即打斷。下面按定位、能力、安裝與用法說明如何接入。

這是什麼

dsh-voice-dialog 由維護者 QiNFPV 發佈,分類爲客戶端插件,面向 DeepSeek Harness 0.2.x(桌面 / Web)。核心流程可概括爲:點一次麥克風進入語音模式 → 說話 → 約 1.2 秒靜音視爲一句結束 → 識別文本先進入輸入框,2 秒後自動發送 → 助手回覆被朗讀 → 播放過程中再次說話可立即打斷並重新聽寫。

插件當前發行版爲 0.1.3(見倉庫 package.json 與 Releases),許可證 MIT,運行時僅需 Node ≥20 與依賴 ws;默認配置不需要 Python、ffmpeg 或獨立服務。語音合成走 Microsoft Edge TTS,需能訪問 speech.platform.bing.com。可選接入本地 faster-whisper 橋接以提升識別準確度。

核心功能

以下能力均來自項目 README,按使用順序歸納。

連續對話與斷句

  • 一次進入:點麥克風後無需每句話再按按鈕。
  • 自動斷句:約 1.2 s 靜音結束當前句。
  • 2 秒確認窗:識別結果先出現在 composer,默認 2 秒後自動發送;任意按鍵或點擊 composer 可暫停計時,改字後按 Enter 發送。
  • 空閒退出:10 s 無語音則退出語音模式,避免麥克風長期佔用。

識別與文本處理

  • 識別糾錯:可修正明顯 ASR 錯誤;含長數字串的句子會跳過糾錯,避免誤改電話、金額等。
  • 口吃摺疊(Stutter collapse):如重複的「來來來來」在發送前合併。
  • 短句識別:極短應答(如「嗯」「對」「好的」)按正確語種保留,而非丟棄或誤判爲英文。
  • 語種:識別自動檢測;麥克風旁下拉框隻影響朗讀用音色,不鎖定識別語言。

朗讀與打斷

  • 僅語音觸發的回覆會朗讀:鍵盤輸入的消息不播報。
  • 按回復語種選音色;日語朗讀前會去掉假名注音標記。
  • Barge-in:回覆播放時開始說話,播放立即停止並重新拾音。

界面與可選 Whisper

  • 插件按鈕與設置文案隨 DSH 宿主界面在中英文間切換。
  • Local Whisper update check(默認開啓):可週期檢查本地 faster-whisper 與模型版本,在設置頁查看狀態;有更新時麥克風旁會出現徽標,需二次確認後才執行升級(不阻塞語音輸入)。檢查間隔、立即檢查等項見下文設置表。

環境要求

項目 說明
DSH 0.2.x(desktop / web)
默認識別 / TTS 內置路徑;TTS 需可達 speech.platform.bing.com
可選 ASR 本地 faster-whisper 橋接
插件包 Node ≥20;運行時依賴 ws

安裝與啓用

安裝包須從 GitHub Releases 獲取 dsh-voice-dialog-0.1.3.tgz,勿使用未在文檔中出現的 dsh plugin add github:... 形式。

圖形界面

  1. 下載 dsh-voice-dialog-0.1.3.tgz 到持久目錄(不要放在 /tmp 或 %TEMP%)。
  2. 在 DSH 中打開 Settings → Plugins → Install from file 安裝。
  3. 確認當前 profile 的 bundle 列表包含 dsh-voice-dialog,完全重啓 DSH。

命令行等價操作

將路徑替換爲本機上的 tgz 實際位置:

dsh plugin --profile desktop add /path/to/dsh-voice-dialog-0.1.3.tgz

隨後在 profile 配置的 dsh.profile.bundles 中加入 dsh-voice-dialog 並重啓 DSH。

手動解壓(備選)

解壓到 ~/.dsh/profiles/<profile>/node_modules/dsh-voice-dialog/ 後重啓。不要從其他機器拷貝整個 node_modules;若缺依賴,在插件目錄內執行 npm install --omit=dev。壓縮包內另有中文 安裝說明.txt 與英文 install-notes.en.txt。

典型用法

  1. 點擊 composer 左側麥克風;進入語音模式後按鈕變紅。
  2. 正常說話,約 1.2 秒停頓結束一句。
  3. 識別文本進入輸入框,2 秒後自動發送;需要改字時先按鍵或點擊輸入框暫停計時,編輯後按 Enter。
  4. 等待回覆朗讀;播放中直接說話即可打斷。
  5. 再次點擊麥克風,或靜默 10 秒,退出語音模式。

設置項

路徑:Settings → Plugins → Voice Dialog

  • Languages in the picker:下拉里顯示的語言(默認含 Auto / 中文 / English / Japanese)。
  • Show all voices (advanced):列出全部 Edge 音色。
  • Auto-correct recognition:識別糾錯(長數字句跳過)。
  • External APIs (optional):可填 OpenAI 兼容的 STT / TTS 端點與密鑰;留空則用內置後端。
  • Stutter collapse / Robust short utterances:與上文識別行爲對應。
  • Local Whisper update check:見下表。

Whisper 自動檢查(摘自文檔默認值):

配置項 默認 含義
Auto-check local Whisper updates On 開關週期檢查
Check interval 24 hours 可選 6 / 12 / 24 / 72 小時
Check now — 立即檢查並刷新狀態

檢查失敗或離線時僅更新狀態文案,不影響語音管線;結果會寫入 ~/.dsh/voice-tutor-config.json 的 whisperUpdate 字段。

適用場景與注意

適合誰:需要在 DSH 里長時間口頭交互、希望減少「錄一句發一句」操作、並希望在聽回覆時能隨時插話的桌面或 Web 用戶。若網絡無法訪問 Edge TTS 域名,需改用設置中的外部 TTS API 或先解決連通性。

安全與許可:插件以當前 DSH 進程權限在客戶端運行,會使用麥克風並可能發起對 PyPI、Hugging Face、必應語音等站的網絡請求。安裝前建議在 GitHub 查閱源碼與 MIT 許可證,確認與自身環境策略一致。社區目錄 skillhub.cn 爲獨立站點,與 DeepSeek / 幻方無官方從屬關係,並非官方應用商店。

結尾

dsh-voice-dialog 把連續聽寫、發送前確認、朗讀與打斷串成一條默認路徑,並在可選 Whisper 棧上提供不阻塞語音的更新檢查。需要安裝包與詳細 Whisper 升級流程時,以倉庫 README 與 Releases 爲準。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜