前言¶
DeepSeek Harness（DSH）採用插件化架構，旨在通過模塊化擴展系統能力。純文本模型（如 DeepSeek）無法直接處理圖像輸入。dsh-omni-vision 是一個由 Renji004 維護的插件，它爲純文本模型提供了“本地眼睛”，允許 Agent 通過渲染、OCR 和像素分析來間接感知視覺內容。整個過程全程本地，不依賴雲端視覺模型。
核心功能¶
插件提供四個核心工具，分別對應畫、貼、讀、看四個動作。
eyes_render¶
在 Web GUI 中渲染畫布，支持文字、線條、矩形、圓形、橢圓。渲染結果會生成 PNG 文件，保存到工作區的 renders/ 目錄（讀取後自動刪除，即“讀完即焚”）以及 pics/ 目錄（永久保留）。
eyes_paste¶
允許用戶通過剪貼板粘貼圖片或直接拖拽圖片到瀏覽器界面。圖片被捕獲並保存爲 PNG 到 renders/ 目錄，供後續處理，不生成永久副本。
eyes_ocr¶
利用 Windows 自帶的 OCR 引擎（Windows.Media.Ocr）將 PNG 圖片中的文字識別並讀回爲文本。這是讓純文本模型“看見文字”的主要途徑。
eyes_analyze¶
將 PNG 解碼爲像素數據，支持設置 N×N 的採樣網格。返回顏色網格、主色直方圖及內容包圍盒，讓模型“看見”圖形和顏色分佈。
安裝與啓用¶
在 DSH 的工作區目錄下執行以下命令安裝插件：
cd <你的工作區>
dsh plugin --profile web add link:<你的工作區>\dsh-omni-vision
安裝後需要重啓 Web 服務才能生效。
典型用法¶
以下是該插件在 DSH 工作流中的典型應用場景：
- OCR 識別：使用
eyes_paste讓用戶粘貼一張截圖，然後使用eyes_ocr讀出裏面的文字並複述。 - 畫圖識別：使用
eyes_render畫一張 800x400 的畫布，寫上文字 “Hello 世界 123”，設置ocr:true，然後複述看到的文字。 - 流程圖分析：使用
eyes_render畫一張 Mermaid 流程圖（如graph TD...），設置ocr:true，讀取節點文字。 - 文字複述：使用
eyes_ocr讀取<workspace>\renders\eyes-xxx.png，逐行復述識別出的文字。 - 像素分析：使用
eyes_analyze分析<workspace>\renders\eyes-xxx.png，設置網格爲 12，描述畫面佈局和主要顏色。
限制與注意事項¶
在使用前需注意以下幾點限制：
- 平臺限制：僅支持 Windows。
eyes_ocr依賴 Windows 自帶 OCR 引擎，其他平臺無法提供“讀字”能力。 - GUI 依賴：需要瀏覽器 GUI 打開。
eyes_render普通渲染等待約 15 秒，Mermaid 首次渲染約 45 秒，eyes_paste等待粘貼約 60 秒。GUI 未開時工具會報錯。 - Mermaid 加載：Mermaid 圖表依賴按需加載。首次渲染時瀏覽器會從 CDN 獲取 Mermaid 庫，成功後緩存。本地未安裝 Mermaid 也能使用，但首次需聯網。
- OCR 效果：識別效果依賴 Windows 語言包。對中英混排識別效果一般。
- 文件格式：
eyes_analyze僅支持 8-bit RGB/RGBA 非交錯 PNG。 - 服務依賴：需要
attachments服務。 - 原生髮圖：DSH 輸入框原生支持圖片粘貼，但發圖需要切換到支持圖片的模型（如
dsh-vision-router）。dsh-omni-vision提供的是本地離線讀圖路徑，不受流控限制。
參考資料¶
- 插件目錄：https://www.skillhub.cn/plugins/Renji004/dsh-omni-vision
- 源碼倉庫：https://github.com/Renji004/dsh-omni-vision
