dsh-vision-bridge:让纯文本模型接收图像

DeepSeek Harness(DSH)的官方模型(如 deepseek-v4-flash 和 deepseek-v4-pro)是纯文本的。它们的 API 端点不接受图像字节,模型元数据也声明只支持文本输入。在 DSH 的环境中,这意味着无法向使用这些模型的会话粘贴截图,也无法使用内置的 read_image 工具。

dsh-vision-bridge 旨在解决这个问题。它通过本地运行的视觉模型,让纯文本模型能够接收和理解图像。

这是什么

这是一个 DeepSeek Harness 插件,由 YuLee-314 维护。它利用本地 Ollama 运行的 qwen2.5vl 模型来处理视觉任务,无需使用云端密钥。所有图片处理均在本地完成,不会向 DeepSeek API 发送图片字节。

核心功能

该插件通过三个层面实现功能:

  1. 原生图片体验:纯文本模型也能像视觉模型一样处理图片。粘贴截图会生成缩略图和图片块,read_image 工具也能正常工作。
  2. 请求层透明:没有 Prompt Hack,没有预设分支。插件在适配层拦截图像块,转换为文本描述后发送给 DeepSeek API。
  3. 结构化输出与坐标:视觉工具支持生成带坐标的元素边界框([0,1000] 归一化坐标),支持区域裁剪、双图对比和剪贴板读取。
  4. 九种视觉工具:提供 describe_image(描述)、extract_text(OCR)、structured_scan(结构化扫描)、query_region(区域查询)、detect_elements(元素检测)、locate_object(物体定位)、compare_images(双图对比)、read_clipboard(剪贴板读取)和 check_health(健康检查)。
  5. 重复图像缓存:重复的图像会命中内容哈希缓存,无需重复推理。
  6. 自包含与共存:单文件分发(约 29 KB),无机器特定路径依赖。插件与官方路由共存,官方路由作为回退,插件会根据模型元数据决定是保持原生图片流还是转为本地路径。

安装与启用

安装命令如下:

dsh plugin --profile web add

安装后,插件会注册一个名为 deepseek-vision 的“孪生”路由,并将九种视觉工具注入到 DSH 的工具集中。

典型用法

  • 粘贴图片:在支持图片的会话中粘贴截图,DSH 会自动生成缩略图和图片块。如果使用的是原生文本路由,图片会被保存为本地路径,供视觉工具读取。
  • 本地视觉处理:利用本地 qwen2.5vl 模型生成图片描述供 DeepSeek 使用。
  • 交互式工具:使用 read_clipboard 或 compare_images 等工具进行交互。模型可以调用这些工具来分析图片。
  • Twin Route:通过 deepseek-vision 路由处理原生图片流。

要求与依赖

  • Node.js:版本需大于或等于 22.19。
  • 本地模型:需要在本地运行 Ollama,并加载 qwen2.5vl 模型。
  • 依赖库:使用 sharp 进行图像处理,使用 openai 作为接口封装。

注意事项

  • 插件以当前 DSH 进程的权限运行,安装前应检查源码与许可证(MIT)。
  • 所有图片处理均在本地完成,确保隐私安全。

链接

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜