LocalLens:用 macOS Vision OCR 爲 DeepSeek Harness 本地讀取屏幕與圖片文本

前言

在 DeepSeek Harness(DSH)智能體開發中,經常需要把截圖、剪貼板圖片或本地圖片裏的文字讀出來:報錯截圖、表格圖片、終端截圖、文檔位圖。若走視覺模型插件,通常需要把圖像交給模型服務,可能涉及 API key、配額和上傳路徑。LocalLens 提供另一種做法:調用 macOS Vision 框架,在本地完成 OCR,只把識別出來的文本返回給 DSH。

這是什麼

LocalLens 是 uknowmyface/locallens 下的 DSH 插件,由 uknowmyface 維護,許可證爲 MIT。它是非官方社區項目,未聲明與 DeepSeek 或 Apple 有關聯。插件用於從屏幕截圖、剪貼板圖像或圖像文件中提取文本,調用 macOS Vision 框架進行本地 OCR,不需要視覺模型、API key 或網絡請求即可完成 OCR。

核心功能

  • 支持 source=screen、source=clipboard、source=file 三種輸入來源。
  • 從屏幕截圖、剪貼板圖像和圖像文件中提取文本。
  • 支持 languages 參數,默認值爲 zh-Hans,en-US。
  • 返回 { text, source, lineCount, warning? }。
  • 當前資料說明只接受位圖;PDF 需先光柵化。

安裝與啓用

環境要求:

  • macOS 13 或更新
  • Xcode Command Line Tools
  • Node.js 22+

安裝命令:

dsh plugin --profile web add github:uknowmyface/locallens

該命令將插件添加到 web profile。安裝後,即可在 DSH 會話中通過自然語言調用。

典型用法

下面示例來自已覈實資料中的用法。

1、剪貼板 OCR

先用 Cmd+Ctrl+Shift+4 選擇區域並複製截圖到剪貼板,然後在聊天框輸入:

OCR the clipboard

2、讀取本地圖片文本

read the text in ~/Desktop/bug.png

3、讀取屏幕文本

read what's on my screen

這會捕獲整個主顯示器,並且需要 Screen Recording 權限。

4、在 OCR 後繼續處理

OCR the clipboard and turn the table into markdown
read this error screenshot, then grep the project for where it's thrown

識別出的文本會進入模型上下文,因此可以在後續指令中繼續轉換、搜索或分析。

適用場景與注意

LocalLens 適合 macOS 13+ 環境下需要讀取位圖文本的場景,尤其是截圖、剪貼板圖像和本地圖像文件。它不用於理解圖像內容,只讀取文本。

使用注意:

  • 插件以當前 DSH 進程可獲得的用戶權限運行。source=file 未做沙箱限制,可讀取當前用戶可讀取的圖像文件;安裝前應檢查源碼和 MIT 許可證。
  • 圖像在本地讀取且不上傳,但識別出的文本會進入模型上下文,併發送到所配置的模型服務商。若截圖中包含不該粘貼進聊天框的敏感信息,不要 OCR。
  • OCR 輸出被標記爲不可信輸入,應作爲數據而非命令。
  • source=screen 捕獲整個主顯示器,需要 Screen Recording 權限,且無區域或窗口範圍。
  • 當前只接受位圖;PDF 需先光柵化。

結尾

LocalLens 提供了一條輕量路徑:把屏幕、剪貼板或本地位圖中的文字通過 macOS Vision OCR 轉成文本,再交給 DSH 後續處理。它不需要視覺模型、API key 或網絡請求,但識別結果仍會進入模型上下文,因此適合對“讀取文字”有明確需求的本地場景。

GitHub:

  • https://github.com/uknowmyface/locallens
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜