前言¶
在 DSH 的智能體會話中,截圖、圖表、界面照片和錯誤信息經常需要被理解,而不只是被保存。如果希望把這類視覺任務委託給一個可配置的多模態模型,可以使用 dsh-open-eyes。
dsh-open-eyes 由 hyper-dsh-plugins 維護,是一個獨立社區項目。資料聲明,它與 DeepSeek 沒有隸屬、背書或維護關係。下面介紹它的定位、可覈實能力、安裝方式、配置路徑和典型用法。
這是什麼¶
dsh-open-eyes 爲 DeepSeek Harness 增加可配置視覺能力。主模型可以把視覺任務委託給所選的多模態模型,分析結果以文本形式返回到同一會話中供主模型使用。
它支持通過 OpenAI Responses、OpenAI Chat Completions 和 Anthropic Messages 端點接入視覺模型。也就是說,它不綁定某個模型廠商;使用者需要自行配置 API endpoint、模型和 API Key。
核心功能¶
下面介紹已覈實的功能點。
委託視覺任務¶
- 爲 DeepSeek Harness 增加可配置視覺能力。
- 主模型可將視覺任務委託給所選多模態模型。
- 支持
OpenAI Responses、OpenAI Chat Completions和Anthropic Messages端點。
管理多個視覺方案¶
dsh-open-eyes 支持創建多個視覺方案,並切換默認方案。每個方案可配置:
- 顯示名稱。
- API endpoint。
- 模型。
- API Key。
模型可以手動輸入,也可以使用 Fetch models 讀取服務端的模型列表。
校驗連接與配置¶
插件提供配置校驗能力:
Validate connection:校驗當前連接配置。Save and validate:保存並立即校驗新配置或已編輯配置。
視覺分析偏好¶
插件支持視覺分析偏好設置,包括:
Visual analysis。Focus areas。Custom supplement,最多 50 詞或文本單位。
默認視覺方案和視覺偏好可以即時更改,無需重建會話。
圖像來源與文件支持¶
- 支持本地
PNG、JPEG、WebP和GIF文件。 - 相對路徑從當前 Agent 會話工作目錄解析。
- Remote image URLs 默認禁用,可通過高級配置啓用。
API Key 保存方式¶
API Key 僅通過 DSH Credentials 保存,不寫入插件 Settings 或 cordis.patch.yml。
安裝與啓用¶
環境要求¶
安裝前需要滿足以下要求:
- Node.js
>=22.19.0。 dsh-open-eyes要求與 DSH 精確一對一版本匹配。- 發佈版本既不向前也不向後兼容。
安裝命令¶
README 按 DSH 版本提供對應安裝命令。下面以 package.json 版本 0.1.2-alpha.1 對應的安裝命令爲例:
dsh plugin --profile web add dsh-open-eyes@0.1.2-alpha.1
如果你的 DSH 版本不是 0.1.2-alpha.1,需要先確認當前 DSH 版本,再使用 README 中對應的安裝命令。
安裝後操作¶
安裝完成後,按順序做兩件事:
1、重啓 DSH Web。
2、重新加載頁面。
DSH profiles 相互獨立。如果要在多個 profile 中使用該插件,需要在每個要使用的 profile 中分別安裝。
Enable 狀態¶
創建會話時啓用 Open Eyes,該會話會將 Web 圖片通過配置好的視覺工作流處理。
創建會話時禁用 Open Eyes,圖片處理交給 DSH。
Enable 狀態在會話創建時固定。已有會話保留創建時的狀態,即使後續切換開關,也不會改變已有會話的該狀態。
配置視覺方案¶
在 DSH 中打開:
Settings → Plugins → Plugin configuration
展開 Open Eyes,可以看到視覺方案配置。
配置一個方案時,通常需要填寫:
顯示名稱
API endpoint
模型
API Key
其中,API Key 只通過 DSH Credentials 保存。插件 Settings 中保留引用關係即可,不要把 Key 當作普通插件設置寫入。
配置完成後,可以先用 Validate connection 檢查連接,再使用 Save and validate 保存並校驗。切換默認方案後,下一次視覺分析會使用新選中的方案。
配置視覺偏好¶
視覺偏好用於調整視覺分析的關注點。可配置項包括:
Visual analysis。Focus areas。Custom supplement。
Custom supplement 用於補充自己的要求,長度限制爲最多 50 詞或文本單位。
偏好設置可以即時更改。修改後,下一次視覺分析會使用新的偏好,不需要重建會話。
典型用法¶
在 DSH Web 中發送圖片¶
基本流程是:
1、在 DSH Web 中粘貼、拖入或選擇圖片。
2、輸入你真正想讓模型回答的問題。
3、正常發送。
發送後,dsh-open-eyes 會將視覺任務交給配置好的多模態模型處理,並將分析結果作爲文本返回給會話繼續使用。
讓 Agent 分析已有圖像文件¶
如果圖像文件已經存在於 Agent 會話工作目錄,可以直接用自然語言要求分析。例如:
Call vision_analyze on screenshots/error.png. Transcribe the exact error code and describe the actions visibly available in the interface.
這條請求適合用於本地圖片文件。screenshots/error.png 這類相對路徑會從當前 Agent 會話工作目錄解析。
支持的本地圖像類型¶
當前已覈實的本地文件支持包括:
PNG
JPEG
WebP
GIF
Remote image URLs 默認禁用。如果確實需要處理遠程圖片 URL,需要通過高級配置啓用。
適用場景與注意¶
適合誰使用¶
如果你正在使用 DSH,並且希望滿足以下需求之一,dsh-open-eyes 是合適的插件:
- 希望把圖像理解任務委託給可配置的多模態模型。
- 希望管理多個視覺模型方案,並切換默認方案。
- 希望對視覺分析的
Visual analysis、Focus areas和Custom supplement做統一控制。 - 希望限制圖像來源,默認只處理本地文件,並可選擇啓用遠程 URL。
安裝前注意¶
dsh-open-eyes 以當前 DSH 進程權限運行。安裝前,建議先檢查源碼和許可證。資料未明確許可證類型,因此不要把它當作已經確認的許可證聲明。
還需要注意以下幾點:
- 插件要求與 DSH 精確一對一版本匹配。
- 安裝命令需要按 DSH 版本選擇。
- DSH profiles 相互獨立,需要在每個要使用的 profile 中分別安裝。
- 安裝後需重啓 DSH Web 並重新加載頁面。
- API Key 只通過 DSH Credentials 保存,不寫入插件 Settings 或
cordis.patch.yml。 - Remote image URLs 默認禁用,啓用屬於高級配置行爲。
高級配置¶
高級配置位於 cordis.patch.yml。已覈實的配置範圍包括:
請求限制
重試
自定義請求頭
認證覆蓋
遠程 URL
文件系統策略
在 Settings 中編輯方案時,cordis.patch.yml 中對應的高級配置會被保留。