前言¶
DeepSeek Harness(DSH)采用插件化架构扩展功能。在构建智能体时,开发者常需处理图像生成、视频制作、语音合成以及视觉理解等任务,这通常涉及复杂的脚本或外部服务。@mokuyoaxis/dsh-iris 插件通过集成 Iris 工作台和多供应商模型路由,为 DSH 提供了一套完整的媒体生产与视觉理解运行时,将任务管理集中在工作台中。
简介¶
这是一个由 mokuyoaxis 维护的多模态生产运行时。它为 Agent 和 Iris 工作台提供图像、视频、语音与视觉理解能力,并能直接优化 DSH 对话框中的提示词。插件通过浏览器客户端接入设置页、会话输入区与全局悬浮层,使用户无需脱离 DSH 环境即可完成从内容生成到视觉分析的完整链路。
安装与依赖¶
在安装前,请确认环境满足以下要求:
- Node.js >= 22.0.0
- DeepSeek Harness 版本 0.2.0-rc.2(旧版宿主需安装 @0.1.4)
- 视频处理需要系统安装 ffmpeg 和 ffprobe
使用以下命令安装插件到 Web profile:
dsh plugin --profile web add @mokuyoaxis/dsh-iris@0.2.0
dsh web
安装体积约为 27MB(包含 sharp 二进制)。插件在宿主侧运行,供应商密钥保存在宿主侧的 Iris 配置中。
核心功能¶
该插件提供的能力覆盖了从内容生成到视觉分析的完整链路:
- 媒体生成:图像生成、文生视频、图生视频、S2V 数字人视频、文本转语音。
- 视觉理解:看图问答、长图 OCR、目标定位、裁剪、像素差异分析。
- 视频处理:视频抽帧、多模态内容摘要。
- 任务与工作流:异步任务跟踪、重启恢复、媒体播放、独立作品库、提示词优化。
- 输入与输出:浏览器上传、会话附件、宿主路径、多供应商模型池。
典型用法¶
在 DSH 对话或 Iris 工作台中,可以使用以下指令:
- 图像生成:使用
iris_draw_image:画一只坐在蓝色窗边的白猫。 - 视觉总结:总结我刚上传的这张图片。
- 视频处理:用 Iris 总结
/absolute/path/demo.mp4,再把摘要合成为语音。
注意事项¶
- 版本兼容性:Iris 0.2.0 仅支持 DSH 0.2.0-rc.2。旧版 DSH 需安装
@0.1.4。npm 上无 scope 的dsh-iris属于另一款插件,安装 Iris 时必须保留完整包名@mokuyoaxis/dsh-iris。 - 权限:插件以宿主进程权限运行,安装前建议检查源码与许可证。
- 平台:安装体积提示图像处理依赖
sharp,在部分 ARM proot 环境可能需要运行dsh-iris doctor诊断。
总结¶
Iris 为 DeepSeek Harness 提供了媒体生产与视觉理解的核心能力,通过统一的工作台和工具路由,降低了 Agent 开发中多模态任务的实现门槛。