niyongsheng/free-vision-skill:DSH 本地圖像理解與 OCR 插件

前言

在 DSH 工作流裏,如果你需要處理圖像描述、文字提取或表格識別,又不希望圖片離開本機,niyongsheng/free-vision-skill 是一個面向 macOS 的 DSH 插件。它基於 macOS Vision Framework,把圖像理解與 OCR 放在本地 Mac 上完成。

這是什麼

niyongsheng/free-vision-skill 由 niyongsheng 維護,採用 MIT 許可證。它的定位是 DSH-Plugin:面向 DeepSeek Harness 的完全本地圖像理解與 OCR,能力來自 macOS Vision。

核心功能

下面是已覈實的插件能力:

  • 完全本地圖像理解:通過 macOS Vision 提供 OCR、表格提取和圖像描述。
  • view_image:描述圖像內容,包括場景、人物、QR、構圖。
  • ocr_image:提取文本;layout=true 時可得到表格結構和座標。
  • 輸入支持 http(s) URL、base64、本地路徑。
  • Web UI 粘貼到路徑:在 DSH web 輸入框中粘貼圖片(Cmd+V)後,會插入該圖片的本地絕對路徑。

安裝與啓用

1、安裝插件:

dsh plugin add @niyongsheng/free-vision-skill

2、在 cordis.patch.yml 中加入插件配置。下面的示例把插件插入到 cordis,並配置 timeout 爲 120000:

- insert:
    - id: free-vision-skill
      name: '@niyongsheng/free-vision-skill'
      config:
        timeout: 120000

典型用法

如果先驗證本地圖像識別流程,可以運行下面的 Swift 腳本示例:

swift scripts/ocr.swift image.png # OCR
swift scripts/ocr.swift --layout image.png # table + coordinates
swift scripts/ocr.swift --describe image.png # describe image
  • image.png:執行 OCR。
  • --layout:用於表格結構和座標。
  • --describe:執行圖像描述。

在 DSH 中,插件提供 view_image 和 ocr_image 兩個工具。輸入可以是 http(s) URL、base64 或本地路徑;ocr_image 支持 layout=true。

適用場景與注意

  • 系統要求:macOS 11+,並安裝 Xcode Command Line Tools。
  • 運行時要求:node >=18。
  • 首次運行會編譯約 5–10s,之後會緩存。
  • 許可證:MIT。
  • 圖片不離開 Mac。
  • Web UI 的上傳僅限 loopback,並做 magic-byte 檢查,支持的格式包括 PNG / JPEG / GIF / WebP / HEIC / HEIF。
  • 插件會以當前 dsh 進程權限運行。安裝前建議先檢查源碼和許可證,確認其調用方式、輸入處理與你的環境要求一致。

小結

niyongsheng/free-vision-skill 的價值在於把圖像描述、OCR 和表格識別放在 macOS 本地完成,並通過 view_image、ocr_image 接入 DSH。使用前確認 macOS 版本、Xcode Command Line Tools 和許可證即可。

  • 社區目錄頁:https://www.skillhub.cn/plugins/niyongsheng/free-vision-skill
  • GitHub:https://github.com/niyongsheng/free-vision-skill
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜