dsh-vision-bridge:给 DeepSeek V4 / V4-Flash 的图片消息加一层描述桥接

前言

DSH 的插件体系允许在 profile 中加载扩展,dsh-vision-bridge 是其中用于图片处理的第三方插件。它解决的是 DeepSeek V4 / V4-Flash 这类纯文本模型处理图片上下文的问题:插件自动调用一个 OpenAI 兼容视觉模型,把图片识别成文字描述,再把描述交给 DeepSeek 继续处理。

下面介绍它的定位、核心能力、安装命令和典型配置。dsh-vision-bridge 由 ximengxiaolan 维护,许可证为 MIT。作为社区第三方插件,安装前建议先检查源码与许可证。

这是什么

dsh-vision-bridge 是一个 DSH 插件,目标是在输入框直接粘贴图片并发送时,不改变 DeepSeek 的文本处理流程,只在发往模型前把图片内容转成文字描述。

它不是让 DeepSeek 原生看图,而是通过外部视觉模型生成描述,再把描述作为文本消息传给 DeepSeek。

核心功能

  • 在输入框直接粘贴图片并发送,插件自动调用 OpenAI 兼容视觉模型把图片识别成文字描述,再把描述交给 DeepSeek 继续处理。
  • ctx.llm.resolveModelInfo 打补丁,声明当前模型支持 image 输入,让图片附件进入会话。
  • 包装 llm.streamWithRegistration,在每次请求发往模型前扫描消息中的图片块并替换为文字描述。
  • 如果路由到的模型原生支持图片,则放行原图、不做转换。
  • 同一张图片按 attachmentId 在同一进程内缓存描述,重复发送不重复计费。
  • VLM 调用失败时降级为 [图片识别失败: 原因],对话不会中断。

安装与启用

前置要求是 dsh CLI 与 pnpm。先安装插件,再重启 profile:

dsh plugin --profile web add dsh-vision-bridge
dsh web

经过上面的步骤后,插件会随该 profile 加载。

配置 VLM

插件唯一需要的是一个 OpenAI 兼容多模态模型,接口形式为 /chat/completions + image_url。下面以阿里云百炼 qwen-vl-max 为例。

可以通过环境变量配置:

$env:VISION_API_KEY  = "sk-..."
$env:VISION_BASE_URL = "https://dashscope.aliyuncs.com/compatible-mode/v1"
$env:VISION_MODEL    = "qwen-vl-max"
$env:VISION_LANG     = "zh"   # zh | en

也可以在 profile 的 cordis.patch.yml 中配置:

- id: dsh-vision-bridge
  config:
    apiKey: 'sk-...'
    baseURL: 'https://dashscope.aliyuncs.com/compatible-mode/v1'
    model: 'qwen-vl-max'
    lang: zh
    timeoutMs: 180000
    enabled: true

典型用法

完成安装和配置后,重启 dsh web,然后直接在输入框粘贴图片并发送。DeepSeek 会基于视觉模型生成的描述继续处理。

适合先走一遍的流程:

1、确认 dsh CLI 与 pnpm 可用。
2、执行 dsh plugin --profile web add dsh-vision-bridge
3、设置 VISION_API_KEYVISION_BASE_URLVISION_MODELVISION_LANG,或在 cordis.patch.yml 中写入对应配置。
4、重启 dsh web
5、在输入框粘贴一张图片并发送,确认 DeepSeek 能基于图片描述继续回答。

适用场景与注意

它适合在 DSH web profile 中处理“图片作为上下文”的任务,例如让 DeepSeek V4 / V4-Flash 基于图片内容回答问题、总结信息或继续执行文本任务。

需要注意:

  • 子智能体会话(subagent)仍受 DSH 内核限制,不支持贴图。
  • 插件运行在当前 dsh 进程内,安装前应检查源码、许可证和所需凭据。
  • package.jsonpeerDependencies 要求:@deepseek-ai/cordis ^4.0.1@deepseek-ai/dsh-llm ^0.1.0-rc.6@deepseek-ai/dsh-attachment ^0.1.0-rc.6@deepseek-ai/schemastery ^3.18.1

链接

目录页是社区独立站点,与 DeepSeek / 幻方没有官方从属关系,不应等同于官方应用商店。

  • 目录页:https://www.skillhub.cn/plugins/ximengxiaolan/dsh-vision-bridge
  • GitHub:https://github.com/ximengxiaolan/dsh-vision-bridge
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye