dsh-youreyes:为 DeepSeek Harness 提供模型可调用的识图工具

前言

在 DSH 里使用纯文本 DeepSeek 时,遇到截图、界面报错、文档图片或需要对比的视觉内容,常见做法是先用外部工具识别,再把文字贴回会话。dsh-youreyes 把这一过程放进 DSH 插件体系中:在 DeepSeek Harness 中提供模型可调用的识图工具,让 DeepSeek 在需要时调用视觉通道,拿到文字证据后继续回答。

下面介绍它的定位、核心能力、安装方式、典型用法和需要注意的限制。

这是什么

dsh-youreyes 是一个 DSH 插件,仓库名为 54xkeee/dsh-youreyes,由 54xkeee 维护,许可证为 MIT。它面向纯文本 DeepSeek 场景,为模型提供视觉/识图工具,并支持以下通道:

  • Antigravity IDE
  • 任意 OpenAI 兼容 VLM 端点
  • Gemini API
  • 本地 Ollama

它也可以为 deepseek/opencode-go 上游提供包装适配器,使对话流中的 DeepSeek 能调用识图工具。插件要求 Node >=20dsh >=0.1.0

核心能力

模型可调用的识图工具

dsh-youreyes 的侧重点不是独立聊天,而是在 DSH 会话里给模型提供一个可调用工具。模型可以根据上下文决定是否需要识图,识图结果再回填到回答流程中。

多种视觉通道

它支持将不同后端接为识图通道:

  • 本地 Ollama:插件启动时可自动检测。
  • Gemini API:通过 API key 配置。
  • OpenAI 兼容端点:通过 base URL、API key、模型名配置。
  • Antigravity IDE:可作为默认通道使用。

如果 Antigravity IDE 通道不可用,插件会按 Gemini → OpenAI → Ollama 的顺序降级。

任务模式

插件提供四种任务模式:

  • glance
  • ocr
  • region
  • compare

这些模式对应不同的识图意图,例如通用理解、文字转录、局部区域关注和多图比较。

auto 档位

auto 档位采用两遍策略:先做标准检查,如果画面复杂,再自动升级深度检查。这样可以减少复杂截图、表格、界面或多图对比场景下只靠一次识别不够用的情况。

结构化证据输出

识图结果要求结构化 JSON 证据,并限制列表长度。这样返回给模型的内容更紧凑,便于后续推理。

视觉证据记忆

插件支持视觉证据记忆:

  • 同一张图、同一问法可以跨轮复用已有结果。
  • DSH 会话压缩后,相关视觉证据可恢复。
  • 模型后续可以基于已有证据继续追问,不必重复粘贴同一张图。

内容哈希缓存

插件使用内容哈希缓存,避免同一张图、同一问法被重复识别。缓存默认最多保留 64 条。

WSL / 网络受限场景

在 WSL 或网络受限时,如果 fetch 失败,可以通过 winCurlPath 配置 Windows curl 路径进行降级。

安装与启用

先确认环境满足版本要求:

Node >=20
dsh >=0.1.0

然后执行官方安装命令:

dsh plugin --profile web add dsh-youreyes

如果是本地 Ollama 通道,先按 Ollama 文档完成安装,并拉取可用视觉模型,再执行上面的安装命令,最后重启 dsh web

配置通道

本地 Ollama

本地 Ollama 模式适合不想配置 API key 的场景。插件启动时可自动检测本地 Ollama。该模式下图片不出本机,无 key、无注册、无费用。

经过上面的步骤后,如果本地 Ollama 已就绪,重启 dsh web 即可进入可用状态。

Gemini

使用 Gemini 通道时,需要编辑 profile 的 cordis.patch.yml,为 youreyes 配置:

geminiApiKey: YOUR_GEMINI_API_KEY

OpenAI 兼容端点

使用任意 OpenAI 兼容 VLM 端点时,在 youreyes 配置中设置:

openaiBaseUrl: YOUR_OPENAI_BASE_URL
openaiApiKey: YOUR_OPENAI_API_KEY
openaiModel: YOUR_VLM_MODEL

其中 openaiApiKey 也可以使用环境变量 YOUREYES_OPENAI_API_KEY

Antigravity IDE

使用 Antigravity IDE 通道时,要求 IDE 已启动并登录,并配置工作区、项目等路径。常见配置项包括:

antigravityWorkspace: /path/to/workspace
antigravityProjectId: your-project-id

IDE 不可用时,插件会按 Gemini → OpenAI → Ollama 降级。

典型用法

会话面板识图

在会话头部点「识图」,然后按顺序完成:

  1. 添加或粘贴图片。
  2. 填写提示词。
  3. 选择模式、档位和通道。
  4. 发起识别。

对话流中调用

在模型选择器中选择:

DeepSeek (Vision Toolkit)

之后可以直接粘贴图片并发送,让模型自动调用识图工具。

通道自检

插件提供配置自检接口:

http://127.0.0.1:3080/api/youreyes/vision

向该接口发送 base64 图片、promptchannel,可以快速确认当前通道是否能正常返回识别结果。若接口报错,可先检查通道配置、网络路径和本地服务状态。

限制与注意事项

插件运行时涉及以下默认限制:

maxImageBytes: 8MB
maxImages: 8
maxTokens: 2048
timeoutMs: 60000
cacheMax: 64

如果使用 allowedImageDirs,且该配置非空,则仅允许 image_path 读取指定目录。

需要特别注意:

  • 插件以当前 dsh 进程权限运行,安装前应检查源码与许可证。
  • Antigravity IDE 通道要求 IDE 已启动并登录,并配置相应路径。
  • Gemini 通道可能出现 503 high demand,可稍后重试或更换模型。
  • WSL / 网络受限时,如果出现 fetch failed,可配置 winCurlPath 尝试降级。

获取地址

GitHub 仓库:

https://github.com/54xkeee/dsh-youreyes

插件线索中还给出目录页地址:

https://www.skillhub.cn/plugins/54xkeee/dsh-youreyes

该目录页地址来自插件线索,未在本次抓取资料中直接确认;社区目录为独立站点,与 DeepSeek 或幻方无官方从属关系。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye