dsh-session-assistant:面向當前 Session 的全雙工語音助手

前言

在 DeepSeek Harness 中,Session 級的交互通常依賴文本輸入。爲了引入語音交互,我們需要一個能夠管理 Session 狀態、草稿和授權的產品層。它需要在當前會話內工作,維護主輸入區的草稿,並在用戶明確授權後執行提交,同時支持與 Agent 的全雙工對話。

插件簡介

dsh-session-assistant 是一個面向當前 Session 的全雙工語音助手產品層。該插件由 AlexKaiqi 維護,採用 MIT 許可證。它的核心價值在於提供了安全的語音討論與草稿功能,用戶可以通過語音維護草稿,並在確認後提交給主 Agent,同時支持可選的知識整理能力。

核心功能

  1. Session 級語音交互:提供面向當前 Session 的語音討論與草稿產品層。
  2. 草稿維護:維護主輸入區的草稿,支持在最終確認前進行編輯。
  3. 安全提交:用戶明確授權後,纔將草稿提交給主 Agent。
  4. 全雙工對話:與 Agent 開始全雙工語音對話,支持實時打斷和反饋。
  5. 知識整理委派:支持將知識整理任務委派給 Agent(需配合 dsh-personal-knowledge-base)。

安裝與依賴

本版本面向 DeepSeek Harness 0.1.1-rc.2。DSH 不會根據 peer 聲明自動安裝、激活或更新依賴插件,需手動添加到同一 profile。

安裝命令:

dsh plugin --profile web add dsh-multi-model-provider dsh-realtime-voice dsh-session-assistant

依賴要求:
* dsh-multi-model-provider@^0.1.0-rc.11(必需)
* dsh-realtime-voice@^0.3.1(必需)
* dsh-personal-knowledge-base@^0.3.2(可選,用於知識集成)

典型用法

  1. 啓用知識投影:若同一 profile 已安裝 dsh-personal-knowledge-base,知識投影與 organize_notes 會自動啓用。
  2. 語音導覽:在設置頁中,“語音導覽”功能會使用所選 Realtime 音色介紹插件,並保持麥克風開啓,供用戶繼續詢問能力、邊界和推薦工作流。

注意事項與架構

  • 版本兼容:請確保使用 DeepSeek Harness 0.1.1-rc.2。
  • 瀏覽器依賴:瀏覽器識別依賴瀏覽器的 SpeechRecognition 能力,Chrome/Edge 兼容性最好。
  • 安全性:長期 Provider 憑據只保留在 Host;瀏覽器只接收經過校驗的 route/profile 和短期會話數據。
  • 音頻處理:未命中的音頻立即丟棄且不持久化。
  • 喚醒詞:待機喚醒詞可在設置中修改。
  • 知識庫集成:若 dsh-personal-knowledge-base 已啓用,Host Remote 在建連前會讀取有界的 personalKnowledge.project()。

總結

該插件通過產品層的形式,將 Session 級的語音交互、草稿維護和安全提交整合在一起,降低了語音輸入 Agent 的使用門檻。它依賴於 dsh-realtime-voice 提供的底層能力,並可通過可選的 dsh-personal-knowledge-base 擴展知識整理功能。

GitHub 倉庫 | 社區目錄

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜