dsh-vision-plugin:为 DeepSeek Harness 文本模型赋予视觉能力

前言

DeepSeek v4 系列模型目前仅支持文本输入。如果用户在对话中粘贴截图或照片,模型无法直接理解图像内容。dsh-vision-plugin 的作用是作为中间层:它将图像先发送给视觉模型(如 qwen3.7-plus, kimi-k3 等),将图像转录为文本,再将文本传递给主模型进行回答。这能让文本模型“看”到图片,并进行自然的交互。

身份信息

  • 名称:dsh-vision-plugin
  • 核心价值:为 DeepSeek Harness 的文本模型提供视觉分析能力。
  • 所有者:Xin-Zhang-IceMan
  • 分类:模型推理
  • 许可证:MIT License

安装

安装该插件会将它注册到当前的 DSH 配置中,随 DSH 启动自动加载。

dsh plugin --profile web add dsh-vision-plugin

配置

在图片能被处理之前,需要在配置文件中声明当前模型支持图像输入。配置文件位于 ~/.dsh/settings.yaml,修改后支持热重载,无需重启。

以下示例声明 deepseek-v4-flash 和 deepseek-v4-pro 可以接收图片:

llm-pi-ai:
  providers:
    opencode-go:
      apiKeyEnv: OPENCODE_GO_API_KEY
      modelOverrides:
        deepseek-v4-flash:
          input: [text, image]
        deepseek-v4-pro:
          input: [text, image]

对于 DSH v0.1.0-rc.8+ 版本,内置的 deepseek-official 路由支持原生 Vision,模型需在 llm-deepseek 配置下声明 inputModalities,插件会自动识别。

核心功能

  1. 粘贴图片并提问:直接将图片粘贴到聊天窗口,切换到任意文本模型,即可询问图片内容。
  2. vision_analyze 工具:模型可以通过调用工具直接分析本地图片文件,支持传入可选的问题和指定的视觉模型。
  3. 设置页面:DSH 设置面板中新增“Vision Model”页面,用于管理默认的视觉模型,支持中英双语切换。

典型用法

场景一:对话中分析图片

在对话窗口中粘贴一张图片(例如 Clash Verge 的 Logo),切换到 deepseek-v4 等文本模型,输入问题“这是什么?”。插件会自动调用视觉模型转录图片内容,主模型根据转录结果进行回答。

场景二:工具调用分析

在对话中要求模型分析表格或代码截图,模型会自动调用 vision_analyze 工具。该工具接受本地图片路径、可选的提问以及可选的视觉模型覆盖参数。

注意事项

  • 版本依赖:插件与 dsh v0.1.0-rc.8 及以上版本兼容,支持原生 Vision 路由。
  • 配置生效:如果切换到未在 settings.yaml 中声明图像能力的模型,粘贴图片可能会被拒绝。请确保所有可能使用的文本模型都已声明 input: [text, image]。
  • 状态持久化:设置页面中的视觉模型选择保存在浏览器的 localStorage 中,重启 DSH 后会自动恢复。
  • 语言跟随:设置页面的 UI 语言会跟随 DSH 的全局语言设置(中文或英文)。

生态链接

  • GitHub 仓库:https://github.com/Xin-Zhang-IceMan/dsh-vision-plugin
  • 插件目录:https://www.skillhub.cn/plugins/Xin-Zhang-IceMan/dsh-vision-plugin
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜