dsh-vision:为 DeepSeek Harness 的纯文本 DeepSeek 增加图片理解

前言

DeepSeek Harness(DSH)支持通过插件扩展能力。对智能体开发者来说,一个常见问题是:DeepSeek 本身是纯文本模型,直接在会话里粘贴图片时,模型无法把图片当作输入;如果额外接入视觉 API,又要申请 key、承担成本,或受网络环境限制。

dsh-vision 是 54xkeee 维护的 DSH 插件,目标是给纯文本 DeepSeek 增加图片理解入口。它默认走豆包 Web 通道,浏览器登录一次即可,不要求 API key;同时支持反重力(Antigravity)IDE 额度、Gemini API 降级通道、Cockpit 反代、aicode 直连通道,以及任意 IDE CLI 通过 ideCli 配置接入。相关目录是社区独立站点,不是官方应用商店。

插件定位

  • 仓库/README 名称:dsh-vision
  • npm 包名:dsh-vision-web
  • 维护者:54xkeee
  • 许可证:MIT
  • 运行要求:Node >=20,dsh >=0.1.0
  • 基本作用:为纯文本 DeepSeek 包装适配器,声明图片输入,并将图片自动转为文本占位;识别结果以文字证据回填,供 DeepSeek 继续回答。

核心能力

下面介绍已核实的几项能力。

  1. 默认豆包 Web 通道
    默认走豆包 Web,浏览器登录一次即可,零成本、免 API key。

  2. 反重力(Antigravity)IDE 额度
    支持使用反重力 IDE 额度,并按模型名选择 flash / pro 档。

  3. Gemini API 降级通道
    支持 Gemini API 作为降级通道。

  4. Cockpit 反代与 aicode 直连
    支持 Cockpit 反代通道,也支持 aicode 直连通道。

  5. 任意 IDE CLI 接入
    支持 Claude Code、Gemini CLI、Qwen Code、MiMo 等任意 IDE CLI,通过 ideCli 配置接入。

  6. 图片输入包装
    为纯文本 DeepSeek 包装适配器,声明图片输入,图片自动转文本占位。

  7. 视觉证据记忆
    识别结果持久化到会话时间线,支持跨轮复用,并在 compaction 后恢复。

  8. 内容哈希缓存
    同一张图、同一个问题,在进程内最多识别一次。

  9. 档位自动升级
    先做标准检查,复杂画面自动进入深度检查。

  10. 四种任务模式
    提供 glanceocrregioncompare 四种任务模式。

  11. 结构化证据输出
    输出结构化 JSON 证据对象,包含 complexitybase_evidencequery_answer 等字段。

  12. 两种使用入口
    提供面板与对话流两种使用入口。

  13. WSL/被墙环境降级
    WSL/被墙环境支持 winCurl 降级。

安装与启用

先执行官方安装命令:

dsh plugin --profile web add dsh-vision-web

注意:安装命令使用的是 npm 包名 dsh-vision-web,而仓库和 README 使用的是 dsh-vision,两者名称不完全一致。

插件会以当前 dsh 进程权限运行。安装前应先检查源码、依赖和许可证;本次介绍中已核实其许可证为 MIT。

典型用法

默认豆包 Web 通道

先做安装,再做桥接和登录:

  1. 安装插件:
dsh plugin --profile web add dsh-vision-web
  1. 在 Windows 侧运行桥接:
node bridge.mjs
  1. 在对应 Chrome 中登录 doubao.com

  2. 重启 dsh web,然后在会话中粘贴图片并发送。

经过上面的步骤后,默认通道即可使用。该通道会向你自己登录的豆包会话发送图片;它依赖 Windows 侧 Chrome、bridge.mjs 队列轮询,并且需要登录豆包。

反重力(Antigravity)通道

如果使用反重力 IDE,可以配置以下项:

config:
  antigravityWorkspace: /path/to/workspace
  antigravityProjectId: your-project-id
  antigravityLsExe: /path/to/language_server.exe
  antigravityWindowsHome: /mnt/c/Users/you
  antigravityBrainDir: /mnt/c/Users/you/.gemini/antigravity/brain

配置后,插件自动优先使用反重力额度,并按模型名选择 flash / pro 档。

注意:该通道要求 Antigravity IDE 已运行并登录,且需要提供 language_server.exe 路径。

Gemini API 通道

配置 genlangKey 后启用 Gemini API 通道:

config:
  genlangKey: your-api-key

该通道需要用户提供 API key。key 只存在本地配置中,错误信息会自动脱敏。

任意 IDE CLI 通道

如果已有本地 IDE CLI,例如 Claude Code、Gemini CLI、Qwen Code、MiMo,可以按 ideCli 配置接入:

config:
  ideCli:
    enabled: true
    exe: claude
    argsTemplate: "-p {prompt}"
    imageRefTemplate: "{path}"
    timeoutMs: 120000

其中:

  • exe 对应实际 CLI 可执行文件
  • argsTemplate 用于构造 CLI 参数
  • imageRefTemplate 用于填写图片引用格式
  • timeoutMs 用于设置超时时间

具体取值需要随所用 CLI 的能力调整。

面板入口

在会话头部点击「识图」,然后按顺序操作:

  1. 添加或粘贴图片
  2. 填写提示词
  3. 选择模式、档位和通道
  4. 点击识别

对话流入口

在模型选择器中选择 deepseek-vision 路由,然后粘贴图片并发送。

本地开发

如果需要本地构建和测试:

git clone https://github.com/54xkeee/dsh-vision
cd dsh-vision
npm install
npm run build
npm test

适用场景与注意事项

dsh-vision 适合以下场景:

  • 希望给 DSH 中的纯文本 DeepSeek 增加图片理解能力
  • 希望默认使用豆包 Web 通道,避免额外 API key
  • 已有反重力 IDE 额度、Gemini API、Cockpit 反代、aicode 凭据或本地 IDE CLI
  • 在 WSL/被墙环境中需要 winCurl 降级路径

使用前需要注意:

  • 插件以当前 dsh 进程权限运行,安装前应检查源码与许可证。
  • 豆包 Web 通道会向用户自己登录的豆包会话发送图片。
  • 豆包 Web 通道依赖 Windows 侧 Chrome、bridge.mjs 队列轮询,且需要登录豆包。
  • 反重力通道要求 Antigravity IDE 运行并登录,且需提供 language_server.exe 路径。
  • Gemini API 通道需要用户提供 API key;key 只存本地配置,错误信息自动脱敏。
  • OAuth 凭据不内置;aicode 通道要求用户自带凭据并存在本地配置。
  • WSL 连不上 API 时,可配置 curlPath 使用 Windows curl 降级。
  • allowedImageDirs 非空时,仅允许 image_path 读取指定目录。
  • 缓存为进程内 LRU,不是跨进程持久缓存。

结尾

dsh-vision 的价值在于:它把图片理解做成 DSH 插件能力,默认用豆包 Web 降低接入门槛,同时保留反重力、Gemini API、Cockpit、aicode 和 IDE CLI 等通道,方便按已有账号、额度或本地工具选择路径。对需要给纯文本 DeepSeek 增加看图能力的开发者来说,它提供了一条可落地的插件化方案。

相关入口:

  • GitHub:https://github.com/54xkeee/dsh-vision
  • 目录页线索:https://www.skillhub.cn/plugins/54xkeee/dsh-vision

目录页链接来自插件线索,未列入已抓取的 README/package.json,使用前建议先打开核对。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜