前言¶
DeepSeek Harness (DSH) 的核心设计理念是“一切皆插件”。在开发基于文本模型的智能体时，模型本身往往不直接具备处理图像、音频或生成图像的能力。需要通过调用外部工具来实现这些功能。wuwangmao/dsh-qwen-multimodal 插件提供了一个统一的入口，将 Qwen 系列的多模态能力桥接给 DSH 中的纯文本模型使用。
这是什么¶
这是一个 DSH bundle，旨在为 DeepSeek Harness 提供多模态支持。它通过 Qwen 的 API（包括视觉语言模型、语音识别和图像生成模型），让文本模型具备图像理解、语音转录和本地绘图的能力。
该插件是一个纯 JavaScript (Cordis) bundle，运行时依赖主机挂载的 subprocess 或 tools 服务，不依赖构建步骤。
核心能力¶
插件提供了三个工具函数，分别对应不同的多模态任务：
- describe_image：用于图像理解。支持截图、OCR、图表分析，可同时处理多张图片。默认使用
qwen3-vl-flash模型。 - transcribe_audio：用于语音转录。支持 wav/mp3/m4a/aac/flac/ogg/amr 等常见格式。默认使用
qwen3-asr-flash模型。 - generate_image：用于文本生成图像并保存到本地。默认使用
qwen-image-plus模型。
所有媒体内容在处理时不会进入主模型的上下文，而是转换为文本返回，保持主模型处理的高效性。
安装与配置¶
安装¶
在终端中执行以下命令将插件添加到指定 profile：
dsh plugin --profile demo add github:wuwangmao/dsh-qwen-multimodal
如果是从本地目录或 tarball 安装，可以使用以下命令：
dsh plugin --profile demo add ./dsh-qwen-multimodal
# 或
pnpm pack
dsh plugin --profile demo add ./dsh-qwen-multimodal-0.1.0.tgz
配置前置条件¶
- Python 环境：必须安装 Python 3.10 或更高版本（图像生成脚本使用了
int | None类型注解）。 - API Key：需要配置阿里云百炼的 API Key。插件复用该 Key 进行视觉、语音和图像生成。
- Python 路径：插件默认从系统 PATH 中解析
python命令。如果解析失败，需在 profile 的cordis.patch.yml中重述该行并设置config.pythonPath。
配置文件¶
安装后，需要配置环境变量文件。复制示例文件并编辑：
cp skills/deepseek-vision/.env.example skills/deepseek-vision/.env
在 .env 文件中填入 VISION_API_KEY（在阿里云百炼控制台创建）。
使用示例¶
插件加载后，模型可以直接调用上述三个工具。以下为典型用法：
- 图像理解与 OCR
describe_image({ images: ['screenshot.png'] })
// 用于提取图片中的文字、代码或错误信息
describe_image({ images: ['chart.png'], prompt: '逐字提取图中所有文字，保留原样' })
// 自定义 prompt 以获得更精准的输出
- 语音转文字
transcribe_audio({ audios: ['recording.m4a'], language: 'zh' })
// 指定语言以提高转录准确度
- 文本生成图像
generate_image({ prompt: 'a cute orange cat on a windowsill watching the sunset', out_dir: './out' })
// 生成图像并保存到本地指定目录
- 生成质量检查
generate_image({ prompt: '...', out_dir: './out', verify: true })
// 生成后自动使用 Qwen VL 对结果进行质量检查，确保符合提示词要求
注意事项¶
- 权限与依赖：插件运行在当前 DSH 进程的权限下，安装前请检查源码。
- 环境变量位置：建议将
.env文件配置在外部目录（如D:/qwen-vision），通过cordis.patch.yml中的skillDir指向，避免密钥进入node_modules。 - 许可证：本项目采用 MIT 许可证。
结语¶
wuwangmao/dsh-qwen-multimodal 解决了在 DSH 中快速集成多模态能力的痛点。通过将 Qwen 的 API 能力封装为标准的 DSH 工具，开发者可以专注于模型逻辑，无需处理底层的 API 调用与文件读写细节。
插件目录：https://www.skillhub.cn/plugins/wuwangmao/dsh-qwen-multimodal
GitHub 仓库：https://github.com/wuwangmao/dsh-qwen-multimodal
