前言¶
在 DSH 的日常使用中,很多会话由文本模型完成。若希望模型处理图片,常见做法是手工把图片发给外部视觉服务,再把结果贴回上下文。这种方式在连续任务里比较琐碎。
Favio8/dsh-plugin-deepeye 把视觉能力做成 DSH 的原生 Cordis 插件:先提供一组可调用工具,再处理“纯文本会话里粘贴图片”的场景。
这是什么¶
dsh-plugin-deepeye 由 Favio8 维护,许可证为 MIT。
它为 DeepSeek Harness (DSH) 提供视觉能力的原生 Cordis 插件,覆盖图片描述、OCR 文字提取、视觉问答、UI 布局分析、剪贴板截图分析等能力。
核心功能¶
下面介绍几个主要能力。
- 工具化视觉调用:提供
vision_describe、vision_ocr、vision_ask、vision_layout、vision_clipboard工具。 - 多后端:支持
OpenAI (GPT-4o)、Google Gemini、自定义OpenAI-compatible端点。 - 粘贴图片兼容:支持粘贴图片自动翻译(
pasteCompat)。 - 结果缓存:支持 LRU 结果缓存(含 TTL)。
- 图片预处理:自动缩放过大图片并转换 JPEG 以节省 token。
- 剪贴板读取:非阻塞异步读取系统剪贴板。
安装与启用¶
先确认当前环境满足 Node >=22.19.0。然后执行:
dsh plugin --profile web add dsh-plugin-deepeye
经过上面的步骤后,检查 profile 配置中是否出现插件层:
dsh --profile web --dump-config
输出中确认出现 dsh-plugin-deepeye 层即可。启动命令:
dsh web
其中,web 是 --profile web 的别名。
配置 OpenAI¶
设置 OPENAI_API_KEY 环境变量后,在 cordis.yml 中配置 provider: openai 即可使用。
export OPENAI_API_KEY=sk-xxx
- id: deepeye-vision
name: 'dsh-plugin-deepeye'
config:
provider: openai
配置 custom 端点¶
自定义 OpenAI-compatible 端点通常使用 patch 文件叠加。示例命令:
dsh web --patch ./examples/zhipu-glm4v.cordis.patch.yml
使用 custom provider 时,示例中 baseUrl 和 model 为必填。
粘贴图片兼容¶
插件支持 pasteCompat,取值为 off、auto、force,默认 auto。
- id: deepeye-vision
config:
pasteCompat: auto
注意¶
- 插件以当前
dsh进程权限运行。安装前应检查源码与许可证。 - 若
sharp未安装,插件仍可运行,但图片不会缩放/转 JPEG,启动日志会给出一次性警告。 - 许可证为
MIT。
链接¶
GitHub 仓库:https://github.com/Favio8/dsh-plugin-deepeye