dsh-qwen-mm:为 DeepSeek Harness 增加多模态读取与工具集成

前言

在 DeepSeek Harness(DSH)里做智能体时,一个常见需求是:模型按纯文本路由运行,但任务需要处理图片、视频、文档、代码和数据。DSH 允许通过插件方式扩展会话能力;dsh-qwen-mm 把 Qwen-MM-Plugins 的能力集成到 DSH,并提供图片附件桥接,让纯文本模型也能通过 MCP 工具读取多模态内容。

这是什么

dsh-qwen-mm 是 RRRosmontis 维护的一个 DSH 插件仓库,许可证为 MIT。它面向希望在 DeepSeek Harness 中使用多模态读取、云端视觉、搜索、视频工具和 3D/CAD 工具的开发者。

该插件提供三类内容:

  • 内置的多模态 skills;
  • MCP 服务器行;
  • 面向纯文本模型路由的图片附件桥接。

核心功能

多模态读取

支持读图、读视频、读文档、读代码、读数据。core 能力不需要密钥。

云端视觉、OCR、ASR 与物体定位

提供云端视觉、OCR、ASR、物体定位等能力。相关 api 能力需要 DashScope 密钥。

网络搜索与以图搜图

提供网络搜索、网页抽取和以图搜图。search 能力需要 Serper、Exa 或 Tavily。

视频与 3D/CAD 能力

支持长视频问答、视频剪辑、Blender、FreeCAD 和数学视频相关任务。

video-memoryvideo-editedu-agent 需要 DashScope 密钥;视频工具需要 ffmpeg;Blender、FreeCAD、LibreOffice、Chromium 仅由调用它们的能力按需使用。

拖图上传

可以把图片拖进输入框,由纯文本模型通过工具读取。该功能依赖 DeepSeek Harness 核心改动,尚未进入官方发布版,需要使用包含该改动的 RRRosmontis/deepseek-harness fork,或应用 deepseek-harness-core.patch

安装与启用

安装插件

如果只是安装插件本身,可使用下面的命令:

pnpm dsh --profile web plugin add github:RRRosmontis/dsh-qwen-mm

安装后,需要重启 DSH 的 web profile,并打开新会话。

拖图前置

拖图功能需要额外处理核心侧改动。可选方式是:

  1. 使用包含该改动的 RRRosmontis/deepseek-harness fork;
  2. 应用 deepseek-harness-core.patch 后再使用 DSH。

该 patch 基于 DeepSeek Harness master 顶点(commit 47f9438)生成。对更旧或更新版本,可能需要手动合并。

密钥与依赖

DSH 会过滤 MCP 子进程环境里的凭据类变量,因此密钥应写入共享配置文件,而不是环境变量。

按能力区分:

  • core:无需密钥;
  • apivideo-memoryvideo-editedu-agent:需要 DashScope 密钥;
  • search:需要 Serper、Exa 或 Tavily;
  • 视频工具:需要 ffmpeg;
  • Blender、FreeCAD、LibreOffice、Chromium:仅由调用它们的能力按需使用。

典型用法

在会话中引用文件后提出任务:

@report.pdf    总结第 3 页并提取表格。
@meeting.mp4   转写这段会议并标注说话人与时间戳。
@place.jpg     识别这张照片的拍摄地点并在网上核实。

也可以直接把图片拖进输入框提问。注意:拖图功能需要使用上述 fork 或核心 patch。

适用场景与注意

适合在 DSH 中为纯文本模型路由增加多模态输入、搜索、视频处理或 3D/CAD 工具链的开发者。使用前需要确认:

  • 是否需要拖图;需要则先处理 fork 或核心 patch;
  • 当前 profile 是否已配置对应密钥;
  • 本机是否已有 ffmpeg、Blender、FreeCAD、LibreOffice、Chromium 等按需依赖;
  • assets/skills/ 内容来自 Apache-2.0 协议的 Qwen-MM-Plugins,上游保留其版权与许可证;插件本身许可证为 MIT。

DSH 插件以当前 dsh 进程权限运行。安装前,建议检查插件源码、依赖、核心 patch 和许可证,再决定是否启用。

获取

GitHub 仓库:

https://github.com/RRRosmontis/dsh-qwen-mm

DeepSeek Harness 社区目录是独立站点,与 DeepSeek / 幻方无官方从属关系;已核实资料中没有给出该插件的目录页 URL,本文不在此拼接具体地址。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜