前言¶
在 DeepSeek Harness 中,Session 級的交互通常依賴文本輸入。爲了引入語音交互,我們需要一個能夠管理 Session 狀態、草稿和授權的產品層。它需要在當前會話內工作,維護主輸入區的草稿,並在用戶明確授權後執行提交,同時支持與 Agent 的全雙工對話。
插件簡介¶
dsh-session-assistant 是一個面向當前 Session 的全雙工語音助手產品層。該插件由 AlexKaiqi 維護,採用 MIT 許可證。它的核心價值在於提供了安全的語音討論與草稿功能,用戶可以通過語音維護草稿,並在確認後提交給主 Agent,同時支持可選的知識整理能力。
核心功能¶
- Session 級語音交互:提供面向當前 Session 的語音討論與草稿產品層。
- 草稿維護:維護主輸入區的草稿,支持在最終確認前進行編輯。
- 安全提交:用戶明確授權後,纔將草稿提交給主 Agent。
- 全雙工對話:與 Agent 開始全雙工語音對話,支持實時打斷和反饋。
- 知識整理委派:支持將知識整理任務委派給 Agent(需配合
dsh-personal-knowledge-base)。
安裝與依賴¶
本版本面向 DeepSeek Harness 0.1.1-rc.2。DSH 不會根據 peer 聲明自動安裝、激活或更新依賴插件,需手動添加到同一 profile。
安裝命令:
dsh plugin --profile web add dsh-multi-model-provider dsh-realtime-voice dsh-session-assistant
依賴要求:
* dsh-multi-model-provider@^0.1.0-rc.11(必需)
* dsh-realtime-voice@^0.3.1(必需)
* dsh-personal-knowledge-base@^0.3.2(可選,用於知識集成)
典型用法¶
- 啓用知識投影:若同一 profile 已安裝
dsh-personal-knowledge-base,知識投影與organize_notes會自動啓用。 - 語音導覽:在設置頁中,“語音導覽”功能會使用所選 Realtime 音色介紹插件,並保持麥克風開啓,供用戶繼續詢問能力、邊界和推薦工作流。
注意事項與架構¶
- 版本兼容:請確保使用 DeepSeek Harness
0.1.1-rc.2。 - 瀏覽器依賴:瀏覽器識別依賴瀏覽器的
SpeechRecognition能力,Chrome/Edge 兼容性最好。 - 安全性:長期 Provider 憑據只保留在 Host;瀏覽器只接收經過校驗的 route/profile 和短期會話數據。
- 音頻處理:未命中的音頻立即丟棄且不持久化。
- 喚醒詞:待機喚醒詞可在設置中修改。
- 知識庫集成:若
dsh-personal-knowledge-base已啓用,Host Remote 在建連前會讀取有界的personalKnowledge.project()。
總結¶
該插件通過產品層的形式,將 Session 級的語音交互、草稿維護和安全提交整合在一起,降低了語音輸入 Agent 的使用門檻。它依賴於 dsh-realtime-voice 提供的底層能力,並可通過可選的 dsh-personal-knowledge-base 擴展知識整理功能。