dsh-session-assistant:面向当前 Session 的全双工语音助手

前言

在 DeepSeek Harness 中,Session 级的交互通常依赖文本输入。为了引入语音交互,我们需要一个能够管理 Session 状态、草稿和授权的产品层。它需要在当前会话内工作,维护主输入区的草稿,并在用户明确授权后执行提交,同时支持与 Agent 的全双工对话。

插件简介

dsh-session-assistant 是一个面向当前 Session 的全双工语音助手产品层。该插件由 AlexKaiqi 维护,采用 MIT 许可证。它的核心价值在于提供了安全的语音讨论与草稿功能,用户可以通过语音维护草稿,并在确认后提交给主 Agent,同时支持可选的知识整理能力。

核心功能

  1. Session 级语音交互:提供面向当前 Session 的语音讨论与草稿产品层。
  2. 草稿维护:维护主输入区的草稿,支持在最终确认前进行编辑。
  3. 安全提交:用户明确授权后,才将草稿提交给主 Agent。
  4. 全双工对话:与 Agent 开始全双工语音对话,支持实时打断和反馈。
  5. 知识整理委派:支持将知识整理任务委派给 Agent(需配合 dsh-personal-knowledge-base)。

安装与依赖

本版本面向 DeepSeek Harness 0.1.1-rc.2。DSH 不会根据 peer 声明自动安装、激活或更新依赖插件,需手动添加到同一 profile。

安装命令:

dsh plugin --profile web add dsh-multi-model-provider dsh-realtime-voice dsh-session-assistant

依赖要求:
* dsh-multi-model-provider@^0.1.0-rc.11(必需)
* dsh-realtime-voice@^0.3.1(必需)
* dsh-personal-knowledge-base@^0.3.2(可选,用于知识集成)

典型用法

  1. 启用知识投影:若同一 profile 已安装 dsh-personal-knowledge-base,知识投影与 organize_notes 会自动启用。
  2. 语音导览:在设置页中,“语音导览”功能会使用所选 Realtime 音色介绍插件,并保持麦克风开启,供用户继续询问能力、边界和推荐工作流。

注意事项与架构

  • 版本兼容:请确保使用 DeepSeek Harness 0.1.1-rc.2。
  • 浏览器依赖:浏览器识别依赖浏览器的 SpeechRecognition 能力,Chrome/Edge 兼容性最好。
  • 安全性:长期 Provider 凭据只保留在 Host;浏览器只接收经过校验的 route/profile 和短期会话数据。
  • 音频处理:未命中的音频立即丢弃且不持久化。
  • 唤醒词:待机唤醒词可在设置中修改。
  • 知识库集成:若 dsh-personal-knowledge-base 已启用,Host Remote 在建连前会读取有界的 personalKnowledge.project()。

总结

该插件通过产品层的形式,将 Session 级的语音交互、草稿维护和安全提交整合在一起,降低了语音输入 Agent 的使用门槛。它依赖于 dsh-realtime-voice 提供的底层能力,并可通过可选的 dsh-personal-knowledge-base 扩展知识整理功能。

GitHub 仓库 | 社区目录

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜