前言¶

DSH 的扩展方式偏插件化：模型、后端、UI 能力可以拆成独立插件接入。对做智能体的同学来说，一个常见断点是：文本对话可以跑，但截图、报错图、图表、设计稿要先识别成文字，才能交给文本模型继续处理；需要配图时，生成结果也往往散落在外部服务里。

已有做法通常是自己维护视觉 API、图像 API、转写提示词、缓存和失败重试。dsh-multimodal 把这些步骤收进 DeepSeek Harness 的会话链路：先读图，再让 DeepSeek 继续处理；需要配图时，在会话里直接显示生成图片。

这是什么¶

dsh-multimodal 是 DeepSeek Harness（DSH）插件，维护者是 MC5lan。它提供三类能力：视觉转写、OCR、文本生图，并通过 OpenAI 兼容后端完成实际调用。

它不自带内置模型、提供方或后端。视觉端点、图像后端和模型都需要用户自行配置。

核心功能¶

图片转写后继续回答¶

粘贴截图或图片后，插件会先调用用户配置的视觉提供方做逐字转写，再由 DeepSeek 在同一轮继续处理问题。

同一图片与上下文可复用转写缓存；缓存为 LRU，并按会话限制。

主视觉提供方失败或受限时，可以切换到 fallbackProviders；parallelImages 支持多图并行转写；小图可依据 costMaxPixels 路由到廉价提供方。

OCR 与场景化转写¶

插件支持调用 extract_text 进行 OCR，输出 Markdown、纯文本或 JSON。

内置 transcribeMode 预设：

• error-fix
• chart-sql
• design-code

文本生图与图片卡片¶

用户要求配图时，DeepSeek 可调用 generate_image，生成的图片会在会话中显示。

生成图片卡片支持：缩略图、点击放大、一键下载、提示词与模型元数据、crop-to-ask、copy params、失败重试。

图像生成后端 failover 在失败时尝试下一个后端；AUTH/aborted 会跳过 failover。

支持通过 custom 后端接入任意非 OpenAI/DashScope 图像 API。

视觉提供方接入¶

extraProviders 接受任意 OpenAI 兼容视觉端点，并提供预设：Zhipu、Bailian、Xfyun、ModelScope、SiliconFlow、Qianfan、local Ollama。

0.7+ 支持粘贴 API key 后自动检测平台并完成接入。

设置页支持配置 JSON 导入/导出。

安装与启用¶

先确认环境：官方 DeepSeek Harness 0.1.0-rc.6+ 以及 Node.js 18+。

然后执行：

dsh plugin --profile web add https://github.com/MC5lan/dsh-multimodal

经过上面的步骤，重启 dsh web。进入 Settings sidebar，会出现「多模态 / Multimodal」页面，视觉与图像相关配置都在这一个页面完成。

典型用法¶

1、快速接入（0.7+）：打开 Settings → Multimodal → 快速接入，粘贴 API key，平台自动检测并完成接入。

2、手动接入：点击平台预设卡片（Zhipu / Bailian / Xfyun / ModelScope / SiliconFlow / Qianfan / local Ollama）并粘贴 key，或在 extraProviders 中声明任意 OpenAI 兼容端点。

3、选择视觉路由：在 Web UI 模型选择器中选择 deepseek-vision 模型，该路由会话获得视觉能力。

4、开始使用：正常聊天时粘贴/拖入图片并提问，或直接要求生成图片。

适用场景与注意¶

适合已有 OpenAI 兼容视觉 API、图像 API 或本地 Ollama 视觉端点，并希望在 DSH 对话中直接读图、提取文本、生成配图的使用者。

使用前注意：

• 插件不自带模型、提供方或后端，视觉端点、图像后端和模型都需自行配置。
• 插件以当前 DSH 进程权限运行，安装前应检查源码与许可证；许可证以仓库实际声明为准。
• 安全限制包括：API key allow-list、trustedBaseUrls、SSRF guard、不转发 sessionId、prompt-injection markers、敏感数据脱敏、审计日志和 LRU 内存上限。
• 显式列出的本地端点（如 http://localhost:11434）允许使用 plain http 且无需 key。

链接¶

• 目录页：DSH 插件目录是社区目录，不等同于官方应用商店；可在目录中搜索 dsh-multimodal。
• GitHub 仓库：https://github.com/MC5lan/dsh-multimodal