dsh-omni-workstation:DeepSeek Harness 全模态工作台插件

在 DeepSeek Harness (DSH) 的开发实践中,让模型具备视觉、听觉和视频创作能力,通常需要编写冗长的 Skill 提示词或手动维护复杂的脚本。dsh-omni-workstation 插件将这一过程工具化,通过统一的配置入口提供图像分析、生成、视频合成及语音处理能力,支持 Any-to-Any 的全模态交互。

这是什么

dsh-omni-workstation 是一个全模态工作站插件,允许模型处理视频、图片和语音的输入与输出,并支持调用 ComfyUI 图像生成工具。该插件由 huashenglian 维护,采用 MIT 许可证,属于模型推理类插件。

核心功能

插件提供以下核心能力:

  • VLM 图像分析 (analyze_image):支持多卡有序故障转移,内置 28 个提供商。
  • 视觉工具包:包含 6 个工具,其中 4 个为纯本地工具,零 token 消耗。
  • 图像生成 (generate_image):支持 OpenAI、DashScope 和 ComfyUI 协议。
  • 多卡异步视频生成 (generate_video):支持 7 种协议,提供 AI 工具构建器。
  • 语音合成与克隆 (speak, clone_voice):支持 3 个云服务商和 4 个本地服务商。

安装与启用

通过 CLI 命令安装插件:

dsh plugin --profile web add ./dsh-omni-workstation
dsh plugin --profile web add github:huashenglian/dsh-omni-workstation
dsh plugin --profile web add ./dsh-omni-workstation-0.1.0.tgz

安装完成后,重启 dsh web 即可生效。

典型用法

  • 图像分析:向 AI 发送图片(或本地路径),询问内容,系统会自动激活 analyze_image 工具。
  • 构建视频工具:在聊天中输入 /build-video-tool,AI 将根据指令自动构建自定义视频生成工具。
  • 配置:进入 Settings -> Omni Workstation 进行配置。

注意事项

  • 避免手动插入:不要手动在配置文件中添加插入行,否则会导致 duplicate loader entry id: omni-workstation 错误。
  • 卡数限制:视频生成默认卡数限制为 10。
  • 配置存储:配置保存在插件安装目录内的 omni-vision.json 文件中,该文件包含 API 密钥,请勿提交到版本控制。
  • 模块开关:所有模块均可独立开关。关闭模块后,对应的工具注册会完全移除,从而实现 0 token 成本。

总结

dsh-omni-workstation 通过将多模态能力封装为插件,减少了开发者编写 Skill 或脚本的维护成本。其模块化设计允许根据需求灵活开启或关闭功能,适合需要在 DeepSeek Harness 中集成视觉、音频及视频处理能力的场景。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜