DeepSeek Harness(DSH)的官方模型(如 deepseek-v4-flash 和 deepseek-v4-pro)是纯文本的。它们的 API 端点不接受图像字节,模型元数据也声明只支持文本输入。在 DSH 的环境中,这意味着无法向使用这些模型的会话粘贴截图,也无法使用内置的 read_image 工具。
dsh-vision-bridge 旨在解决这个问题。它通过本地运行的视觉模型,让纯文本模型能够接收和理解图像。
这是什么¶
这是一个 DeepSeek Harness 插件,由 YuLee-314 维护。它利用本地 Ollama 运行的 qwen2.5vl 模型来处理视觉任务,无需使用云端密钥。所有图片处理均在本地完成,不会向 DeepSeek API 发送图片字节。
核心功能¶
该插件通过三个层面实现功能:
- 原生图片体验:纯文本模型也能像视觉模型一样处理图片。粘贴截图会生成缩略图和图片块,
read_image工具也能正常工作。 - 请求层透明:没有 Prompt Hack,没有预设分支。插件在适配层拦截图像块,转换为文本描述后发送给 DeepSeek API。
- 结构化输出与坐标:视觉工具支持生成带坐标的元素边界框(
[0,1000]归一化坐标),支持区域裁剪、双图对比和剪贴板读取。 - 九种视觉工具:提供
describe_image(描述)、extract_text(OCR)、structured_scan(结构化扫描)、query_region(区域查询)、detect_elements(元素检测)、locate_object(物体定位)、compare_images(双图对比)、read_clipboard(剪贴板读取)和check_health(健康检查)。 - 重复图像缓存:重复的图像会命中内容哈希缓存,无需重复推理。
- 自包含与共存:单文件分发(约 29 KB),无机器特定路径依赖。插件与官方路由共存,官方路由作为回退,插件会根据模型元数据决定是保持原生图片流还是转为本地路径。
安装与启用¶
安装命令如下:
dsh plugin --profile web add
安装后,插件会注册一个名为 deepseek-vision 的“孪生”路由,并将九种视觉工具注入到 DSH 的工具集中。
典型用法¶
- 粘贴图片:在支持图片的会话中粘贴截图,DSH 会自动生成缩略图和图片块。如果使用的是原生文本路由,图片会被保存为本地路径,供视觉工具读取。
- 本地视觉处理:利用本地
qwen2.5vl模型生成图片描述供 DeepSeek 使用。 - 交互式工具:使用
read_clipboard或compare_images等工具进行交互。模型可以调用这些工具来分析图片。 - Twin Route:通过
deepseek-vision路由处理原生图片流。
要求与依赖¶
- Node.js:版本需大于或等于 22.19。
- 本地模型:需要在本地运行 Ollama,并加载
qwen2.5vl模型。 - 依赖库:使用
sharp进行图像处理,使用openai作为接口封装。
注意事项¶
- 插件以当前 DSH 进程的权限运行,安装前应检查源码与许可证(MIT)。
- 所有图片处理均在本地完成,确保隐私安全。