在 DeepSeek Harness (DSH) 的开发实践中,让模型具备视觉、听觉和视频创作能力,通常需要编写冗长的 Skill 提示词或手动维护复杂的脚本。dsh-omni-workstation 插件将这一过程工具化,通过统一的配置入口提供图像分析、生成、视频合成及语音处理能力,支持 Any-to-Any 的全模态交互。
这是什么¶
dsh-omni-workstation 是一个全模态工作站插件,允许模型处理视频、图片和语音的输入与输出,并支持调用 ComfyUI 图像生成工具。该插件由 huashenglian 维护,采用 MIT 许可证,属于模型推理类插件。
核心功能¶
插件提供以下核心能力:
- VLM 图像分析 (
analyze_image):支持多卡有序故障转移,内置 28 个提供商。 - 视觉工具包:包含 6 个工具,其中 4 个为纯本地工具,零 token 消耗。
- 图像生成 (
generate_image):支持 OpenAI、DashScope 和 ComfyUI 协议。 - 多卡异步视频生成 (
generate_video):支持 7 种协议,提供 AI 工具构建器。 - 语音合成与克隆 (
speak,clone_voice):支持 3 个云服务商和 4 个本地服务商。
安装与启用¶
通过 CLI 命令安装插件:
dsh plugin --profile web add ./dsh-omni-workstation
dsh plugin --profile web add github:huashenglian/dsh-omni-workstation
dsh plugin --profile web add ./dsh-omni-workstation-0.1.0.tgz
安装完成后,重启 dsh web 即可生效。
典型用法¶
- 图像分析:向 AI 发送图片(或本地路径),询问内容,系统会自动激活
analyze_image工具。 - 构建视频工具:在聊天中输入
/build-video-tool,AI 将根据指令自动构建自定义视频生成工具。 - 配置:进入 Settings -> Omni Workstation 进行配置。
注意事项¶
- 避免手动插入:不要手动在配置文件中添加插入行,否则会导致
duplicate loader entry id: omni-workstation错误。 - 卡数限制:视频生成默认卡数限制为 10。
- 配置存储:配置保存在插件安装目录内的
omni-vision.json文件中,该文件包含 API 密钥,请勿提交到版本控制。 - 模块开关:所有模块均可独立开关。关闭模块后,对应的工具注册会完全移除,从而实现 0 token 成本。
总结¶
dsh-omni-workstation 通过将多模态能力封装为插件,减少了开发者编写 Skill 或脚本的维护成本。其模块化设计允许根据需求灵活开启或关闭功能,适合需要在 DeepSeek Harness 中集成视觉、音频及视频处理能力的场景。