前言¶
在 DSH 的日常使用中,很多會話由文本模型完成。若希望模型處理圖片,常見做法是手工把圖片發給外部視覺服務,再把結果貼回上下文。這種方式在連續任務裏比較瑣碎。
Favio8/dsh-plugin-deepeye 把視覺能力做成 DSH 的原生 Cordis 插件:先提供一組可調用工具,再處理“純文本會話裏粘貼圖片”的場景。
這是什麼¶
dsh-plugin-deepeye 由 Favio8 維護,許可證爲 MIT。
它爲 DeepSeek Harness (DSH) 提供視覺能力的原生 Cordis 插件,覆蓋圖片描述、OCR 文字提取、視覺問答、UI 佈局分析、剪貼板截圖分析等能力。
核心功能¶
下面介紹幾個主要能力。
- 工具化視覺調用:提供
vision_describe、vision_ocr、vision_ask、vision_layout、vision_clipboard工具。 - 多後端:支持
OpenAI (GPT-4o)、Google Gemini、自定義OpenAI-compatible端點。 - 粘貼圖片兼容:支持粘貼圖片自動翻譯(
pasteCompat)。 - 結果緩存:支持 LRU 結果緩存(含 TTL)。
- 圖片預處理:自動縮放過大圖片並轉換 JPEG 以節省 token。
- 剪貼板讀取:非阻塞異步讀取系統剪貼板。
安裝與啓用¶
先確認當前環境滿足 Node >=22.19.0。然後執行:
dsh plugin --profile web add dsh-plugin-deepeye
經過上面的步驟後,檢查 profile 配置中是否出現插件層:
dsh --profile web --dump-config
輸出中確認出現 dsh-plugin-deepeye 層即可。啓動命令:
dsh web
其中,web 是 --profile web 的別名。
配置 OpenAI¶
設置 OPENAI_API_KEY 環境變量後,在 cordis.yml 中配置 provider: openai 即可使用。
export OPENAI_API_KEY=sk-xxx
- id: deepeye-vision
name: 'dsh-plugin-deepeye'
config:
provider: openai
配置 custom 端點¶
自定義 OpenAI-compatible 端點通常使用 patch 文件疊加。示例命令:
dsh web --patch ./examples/zhipu-glm4v.cordis.patch.yml
使用 custom provider 時,示例中 baseUrl 和 model 爲必填。
粘貼圖片兼容¶
插件支持 pasteCompat,取值爲 off、auto、force,默認 auto。
- id: deepeye-vision
config:
pasteCompat: auto
注意¶
- 插件以當前
dsh進程權限運行。安裝前應檢查源碼與許可證。 - 若
sharp未安裝,插件仍可運行,但圖片不會縮放/轉 JPEG,啓動日誌會給出一次性警告。 - 許可證爲
MIT。
鏈接¶
GitHub 倉庫:https://github.com/Favio8/dsh-plugin-deepeye