dsh-plugin-deepeye:为 DSH 提供视觉能力的 Cordis 插件

前言

在 DSH 的日常使用中,很多会话由文本模型完成。若希望模型处理图片,常见做法是手工把图片发给外部视觉服务,再把结果贴回上下文。这种方式在连续任务里比较琐碎。

Favio8/dsh-plugin-deepeye 把视觉能力做成 DSH 的原生 Cordis 插件:先提供一组可调用工具,再处理“纯文本会话里粘贴图片”的场景。

这是什么

dsh-plugin-deepeyeFavio8 维护,许可证为 MIT

它为 DeepSeek Harness (DSH) 提供视觉能力的原生 Cordis 插件,覆盖图片描述、OCR 文字提取、视觉问答、UI 布局分析、剪贴板截图分析等能力。

核心功能

下面介绍几个主要能力。

  • 工具化视觉调用:提供 vision_describevision_ocrvision_askvision_layoutvision_clipboard 工具。
  • 多后端:支持 OpenAI (GPT-4o)Google Gemini、自定义 OpenAI-compatible 端点。
  • 粘贴图片兼容:支持粘贴图片自动翻译(pasteCompat)。
  • 结果缓存:支持 LRU 结果缓存(含 TTL)。
  • 图片预处理:自动缩放过大图片并转换 JPEG 以节省 token。
  • 剪贴板读取:非阻塞异步读取系统剪贴板。

安装与启用

先确认当前环境满足 Node >=22.19.0。然后执行:

dsh plugin --profile web add dsh-plugin-deepeye

经过上面的步骤后,检查 profile 配置中是否出现插件层:

dsh --profile web --dump-config

输出中确认出现 dsh-plugin-deepeye 层即可。启动命令:

dsh web

其中,web--profile web 的别名。

配置 OpenAI

设置 OPENAI_API_KEY 环境变量后,在 cordis.yml 中配置 provider: openai 即可使用。

export OPENAI_API_KEY=sk-xxx
- id: deepeye-vision
  name: 'dsh-plugin-deepeye'
  config:
    provider: openai

配置 custom 端点

自定义 OpenAI-compatible 端点通常使用 patch 文件叠加。示例命令:

dsh web --patch ./examples/zhipu-glm4v.cordis.patch.yml

使用 custom provider 时,示例中 baseUrlmodel 为必填。

粘贴图片兼容

插件支持 pasteCompat,取值为 offautoforce,默认 auto

- id: deepeye-vision
  config:
    pasteCompat: auto

注意

  • 插件以当前 dsh 进程权限运行。安装前应检查源码与许可证。
  • sharp 未安装,插件仍可运行,但图片不会缩放/转 JPEG,启动日志会给出一次性警告。
  • 许可证为 MIT

链接

GitHub 仓库:https://github.com/Favio8/dsh-plugin-deepeye

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜