niyongsheng/free-vision-skill:DSH 本地图像理解与 OCR 插件

前言

在 DSH 工作流里,如果你需要处理图像描述、文字提取或表格识别,又不希望图片离开本机,niyongsheng/free-vision-skill 是一个面向 macOS 的 DSH 插件。它基于 macOS Vision Framework,把图像理解与 OCR 放在本地 Mac 上完成。

这是什么

niyongsheng/free-vision-skillniyongsheng 维护,采用 MIT 许可证。它的定位是 DSH-Plugin:面向 DeepSeek Harness 的完全本地图像理解与 OCR,能力来自 macOS Vision。

核心功能

下面是已核实的插件能力:

  • 完全本地图像理解:通过 macOS Vision 提供 OCR、表格提取和图像描述。
  • view_image:描述图像内容,包括场景、人物、QR、构图。
  • ocr_image:提取文本;layout=true 时可得到表格结构和坐标。
  • 输入支持 http(s) URLbase64、本地路径。
  • Web UI 粘贴到路径:在 DSH web 输入框中粘贴图片(Cmd+V)后,会插入该图片的本地绝对路径。

安装与启用

1、安装插件:

dsh plugin add @niyongsheng/free-vision-skill

2、在 cordis.patch.yml 中加入插件配置。下面的示例把插件插入到 cordis,并配置 timeout120000

- insert:
    - id: free-vision-skill
      name: '@niyongsheng/free-vision-skill'
      config:
        timeout: 120000

典型用法

如果先验证本地图像识别流程,可以运行下面的 Swift 脚本示例:

swift scripts/ocr.swift image.png # OCR
swift scripts/ocr.swift --layout image.png # table + coordinates
swift scripts/ocr.swift --describe image.png # describe image
  • image.png:执行 OCR。
  • --layout:用于表格结构和坐标。
  • --describe:执行图像描述。

在 DSH 中,插件提供 view_imageocr_image 两个工具。输入可以是 http(s) URLbase64 或本地路径;ocr_image 支持 layout=true

适用场景与注意

  • 系统要求:macOS 11+,并安装 Xcode Command Line Tools。
  • 运行时要求:node >=18
  • 首次运行会编译约 5–10s,之后会缓存。
  • 许可证:MIT
  • 图片不离开 Mac。
  • Web UI 的上传仅限 loopback,并做 magic-byte 检查,支持的格式包括 PNG / JPEG / GIF / WebP / HEIC / HEIF
  • 插件会以当前 dsh 进程权限运行。安装前建议先检查源码和许可证,确认其调用方式、输入处理与你的环境要求一致。

小结

niyongsheng/free-vision-skill 的价值在于把图像描述、OCR 和表格识别放在 macOS 本地完成,并通过 view_imageocr_image 接入 DSH。使用前确认 macOS 版本、Xcode Command Line Tools 和许可证即可。

  • 社区目录页:https://www.skillhub.cn/plugins/niyongsheng/free-vision-skill
  • GitHub:https://github.com/niyongsheng/free-vision-skill
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜