前言¶
在 DSH 工作流裏,如果你需要處理圖像描述、文字提取或表格識別,又不希望圖片離開本機,niyongsheng/free-vision-skill 是一個面向 macOS 的 DSH 插件。它基於 macOS Vision Framework,把圖像理解與 OCR 放在本地 Mac 上完成。
這是什麼¶
niyongsheng/free-vision-skill 由 niyongsheng 維護,採用 MIT 許可證。它的定位是 DSH-Plugin:面向 DeepSeek Harness 的完全本地圖像理解與 OCR,能力來自 macOS Vision。
核心功能¶
下面是已覈實的插件能力:
- 完全本地圖像理解:通過 macOS Vision 提供 OCR、表格提取和圖像描述。
view_image:描述圖像內容,包括場景、人物、QR、構圖。ocr_image:提取文本;layout=true時可得到表格結構和座標。- 輸入支持
http(s) URL、base64、本地路徑。 - Web UI 粘貼到路徑:在 DSH web 輸入框中粘貼圖片(Cmd+V)後,會插入該圖片的本地絕對路徑。
安裝與啓用¶
1、安裝插件:
dsh plugin add @niyongsheng/free-vision-skill
2、在 cordis.patch.yml 中加入插件配置。下面的示例把插件插入到 cordis,並配置 timeout 爲 120000:
- insert:
- id: free-vision-skill
name: '@niyongsheng/free-vision-skill'
config:
timeout: 120000
典型用法¶
如果先驗證本地圖像識別流程,可以運行下面的 Swift 腳本示例:
swift scripts/ocr.swift image.png # OCR
swift scripts/ocr.swift --layout image.png # table + coordinates
swift scripts/ocr.swift --describe image.png # describe image
image.png:執行 OCR。--layout:用於表格結構和座標。--describe:執行圖像描述。
在 DSH 中,插件提供 view_image 和 ocr_image 兩個工具。輸入可以是 http(s) URL、base64 或本地路徑;ocr_image 支持 layout=true。
適用場景與注意¶
- 系統要求:macOS 11+,並安裝 Xcode Command Line Tools。
- 運行時要求:
node >=18。 - 首次運行會編譯約
5–10s,之後會緩存。 - 許可證:
MIT。 - 圖片不離開 Mac。
- Web UI 的上傳僅限 loopback,並做 magic-byte 檢查,支持的格式包括
PNG / JPEG / GIF / WebP / HEIC / HEIF。 - 插件會以當前
dsh進程權限運行。安裝前建議先檢查源碼和許可證,確認其調用方式、輸入處理與你的環境要求一致。
小結¶
niyongsheng/free-vision-skill 的價值在於把圖像描述、OCR 和表格識別放在 macOS 本地完成,並通過 view_image、ocr_image 接入 DSH。使用前確認 macOS 版本、Xcode Command Line Tools 和許可證即可。
- 社區目錄頁:https://www.skillhub.cn/plugins/niyongsheng/free-vision-skill
- GitHub:https://github.com/niyongsheng/free-vision-skill