前言¶
在 DeepSeek Harness(DSH)里做智能体时,一个常见需求是:模型按纯文本路由运行,但任务需要处理图片、视频、文档、代码和数据。DSH 允许通过插件方式扩展会话能力;dsh-qwen-mm 把 Qwen-MM-Plugins 的能力集成到 DSH,并提供图片附件桥接,让纯文本模型也能通过 MCP 工具读取多模态内容。
这是什么¶
dsh-qwen-mm 是 RRRosmontis 维护的一个 DSH 插件仓库,许可证为 MIT。它面向希望在 DeepSeek Harness 中使用多模态读取、云端视觉、搜索、视频工具和 3D/CAD 工具的开发者。
该插件提供三类内容:
- 内置的多模态 skills;
- MCP 服务器行;
- 面向纯文本模型路由的图片附件桥接。
核心功能¶
多模态读取¶
支持读图、读视频、读文档、读代码、读数据。core 能力不需要密钥。
云端视觉、OCR、ASR 与物体定位¶
提供云端视觉、OCR、ASR、物体定位等能力。相关 api 能力需要 DashScope 密钥。
网络搜索与以图搜图¶
提供网络搜索、网页抽取和以图搜图。search 能力需要 Serper、Exa 或 Tavily。
视频与 3D/CAD 能力¶
支持长视频问答、视频剪辑、Blender、FreeCAD 和数学视频相关任务。
video-memory、video-edit、edu-agent 需要 DashScope 密钥;视频工具需要 ffmpeg;Blender、FreeCAD、LibreOffice、Chromium 仅由调用它们的能力按需使用。
拖图上传¶
可以把图片拖进输入框,由纯文本模型通过工具读取。该功能依赖 DeepSeek Harness 核心改动,尚未进入官方发布版,需要使用包含该改动的 RRRosmontis/deepseek-harness fork,或应用 deepseek-harness-core.patch。
安装与启用¶
安装插件¶
如果只是安装插件本身,可使用下面的命令:
pnpm dsh --profile web plugin add github:RRRosmontis/dsh-qwen-mm
安装后,需要重启 DSH 的 web profile,并打开新会话。
拖图前置¶
拖图功能需要额外处理核心侧改动。可选方式是:
- 使用包含该改动的
RRRosmontis/deepseek-harnessfork; - 应用
deepseek-harness-core.patch后再使用 DSH。
该 patch 基于 DeepSeek Harness master 顶点(commit 47f9438)生成。对更旧或更新版本,可能需要手动合并。
密钥与依赖¶
DSH 会过滤 MCP 子进程环境里的凭据类变量,因此密钥应写入共享配置文件,而不是环境变量。
按能力区分:
core:无需密钥;api、video-memory、video-edit、edu-agent:需要 DashScope 密钥;search:需要 Serper、Exa 或 Tavily;- 视频工具:需要 ffmpeg;
- Blender、FreeCAD、LibreOffice、Chromium:仅由调用它们的能力按需使用。
典型用法¶
在会话中引用文件后提出任务:
@report.pdf 总结第 3 页并提取表格。
@meeting.mp4 转写这段会议并标注说话人与时间戳。
@place.jpg 识别这张照片的拍摄地点并在网上核实。
也可以直接把图片拖进输入框提问。注意:拖图功能需要使用上述 fork 或核心 patch。
适用场景与注意¶
适合在 DSH 中为纯文本模型路由增加多模态输入、搜索、视频处理或 3D/CAD 工具链的开发者。使用前需要确认:
- 是否需要拖图;需要则先处理 fork 或核心 patch;
- 当前 profile 是否已配置对应密钥;
- 本机是否已有 ffmpeg、Blender、FreeCAD、LibreOffice、Chromium 等按需依赖;
assets/skills/内容来自 Apache-2.0 协议的 Qwen-MM-Plugins,上游保留其版权与许可证;插件本身许可证为 MIT。
DSH 插件以当前 dsh 进程权限运行。安装前,建议检查插件源码、依赖、核心 patch 和许可证,再决定是否启用。
获取¶
GitHub 仓库:
https://github.com/RRRosmontis/dsh-qwen-mm
DeepSeek Harness 社区目录是独立站点,与 DeepSeek / 幻方无官方从属关系;已核实资料中没有给出该插件的目录页 URL,本文不在此拼接具体地址。