dsh-open-eyes:爲 DeepSeek Harness 增加可配置視覺能力

前言

在 DSH 的智能體會話中,截圖、圖表、界面照片和錯誤信息經常需要被理解,而不只是被保存。如果希望把這類視覺任務委託給一個可配置的多模態模型,可以使用 dsh-open-eyes。

dsh-open-eyes 由 hyper-dsh-plugins 維護,是一個獨立社區項目。資料聲明,它與 DeepSeek 沒有隸屬、背書或維護關係。下面介紹它的定位、可覈實能力、安裝方式、配置路徑和典型用法。

這是什麼

dsh-open-eyes 爲 DeepSeek Harness 增加可配置視覺能力。主模型可以把視覺任務委託給所選的多模態模型,分析結果以文本形式返回到同一會話中供主模型使用。

它支持通過 OpenAI Responses、OpenAI Chat Completions 和 Anthropic Messages 端點接入視覺模型。也就是說,它不綁定某個模型廠商;使用者需要自行配置 API endpoint、模型和 API Key。

核心功能

下面介紹已覈實的功能點。

委託視覺任務

  • 爲 DeepSeek Harness 增加可配置視覺能力。
  • 主模型可將視覺任務委託給所選多模態模型。
  • 支持 OpenAI Responses、OpenAI Chat Completions 和 Anthropic Messages 端點。

管理多個視覺方案

dsh-open-eyes 支持創建多個視覺方案,並切換默認方案。每個方案可配置:

  • 顯示名稱。
  • API endpoint。
  • 模型。
  • API Key。

模型可以手動輸入,也可以使用 Fetch models 讀取服務端的模型列表。

校驗連接與配置

插件提供配置校驗能力:

  • Validate connection:校驗當前連接配置。
  • Save and validate:保存並立即校驗新配置或已編輯配置。

視覺分析偏好

插件支持視覺分析偏好設置,包括:

  • Visual analysis。
  • Focus areas。
  • Custom supplement,最多 50 詞或文本單位。

默認視覺方案和視覺偏好可以即時更改,無需重建會話。

圖像來源與文件支持

  • 支持本地 PNG、JPEG、WebP 和 GIF 文件。
  • 相對路徑從當前 Agent 會話工作目錄解析。
  • Remote image URLs 默認禁用,可通過高級配置啓用。

API Key 保存方式

API Key 僅通過 DSH Credentials 保存,不寫入插件 Settings 或 cordis.patch.yml。

安裝與啓用

環境要求

安裝前需要滿足以下要求:

  • Node.js >=22.19.0。
  • dsh-open-eyes 要求與 DSH 精確一對一版本匹配。
  • 發佈版本既不向前也不向後兼容。

安裝命令

README 按 DSH 版本提供對應安裝命令。下面以 package.json 版本 0.1.2-alpha.1 對應的安裝命令爲例:

dsh plugin --profile web add dsh-open-eyes@0.1.2-alpha.1

如果你的 DSH 版本不是 0.1.2-alpha.1,需要先確認當前 DSH 版本,再使用 README 中對應的安裝命令。

安裝後操作

安裝完成後,按順序做兩件事:

1、重啓 DSH Web。
2、重新加載頁面。

DSH profiles 相互獨立。如果要在多個 profile 中使用該插件,需要在每個要使用的 profile 中分別安裝。

Enable 狀態

創建會話時啓用 Open Eyes,該會話會將 Web 圖片通過配置好的視覺工作流處理。

創建會話時禁用 Open Eyes,圖片處理交給 DSH。

Enable 狀態在會話創建時固定。已有會話保留創建時的狀態,即使後續切換開關,也不會改變已有會話的該狀態。

配置視覺方案

在 DSH 中打開:

Settings → Plugins → Plugin configuration

展開 Open Eyes,可以看到視覺方案配置。

配置一個方案時,通常需要填寫:

顯示名稱
API endpoint
模型
API Key

其中,API Key 只通過 DSH Credentials 保存。插件 Settings 中保留引用關係即可,不要把 Key 當作普通插件設置寫入。

配置完成後,可以先用 Validate connection 檢查連接,再使用 Save and validate 保存並校驗。切換默認方案後,下一次視覺分析會使用新選中的方案。

配置視覺偏好

視覺偏好用於調整視覺分析的關注點。可配置項包括:

  • Visual analysis。
  • Focus areas。
  • Custom supplement。

Custom supplement 用於補充自己的要求,長度限制爲最多 50 詞或文本單位。

偏好設置可以即時更改。修改後,下一次視覺分析會使用新的偏好,不需要重建會話。

典型用法

在 DSH Web 中發送圖片

基本流程是:

1、在 DSH Web 中粘貼、拖入或選擇圖片。
2、輸入你真正想讓模型回答的問題。
3、正常發送。

發送後,dsh-open-eyes 會將視覺任務交給配置好的多模態模型處理,並將分析結果作爲文本返回給會話繼續使用。

讓 Agent 分析已有圖像文件

如果圖像文件已經存在於 Agent 會話工作目錄,可以直接用自然語言要求分析。例如:

Call vision_analyze on screenshots/error.png. Transcribe the exact error code and describe the actions visibly available in the interface.

這條請求適合用於本地圖片文件。screenshots/error.png 這類相對路徑會從當前 Agent 會話工作目錄解析。

支持的本地圖像類型

當前已覈實的本地文件支持包括:

PNG
JPEG
WebP
GIF

Remote image URLs 默認禁用。如果確實需要處理遠程圖片 URL,需要通過高級配置啓用。

適用場景與注意

適合誰使用

如果你正在使用 DSH,並且希望滿足以下需求之一,dsh-open-eyes 是合適的插件:

  • 希望把圖像理解任務委託給可配置的多模態模型。
  • 希望管理多個視覺模型方案,並切換默認方案。
  • 希望對視覺分析的 Visual analysis、Focus areas 和 Custom supplement 做統一控制。
  • 希望限制圖像來源,默認只處理本地文件,並可選擇啓用遠程 URL。

安裝前注意

dsh-open-eyes 以當前 DSH 進程權限運行。安裝前,建議先檢查源碼和許可證。資料未明確許可證類型,因此不要把它當作已經確認的許可證聲明。

還需要注意以下幾點:

  • 插件要求與 DSH 精確一對一版本匹配。
  • 安裝命令需要按 DSH 版本選擇。
  • DSH profiles 相互獨立,需要在每個要使用的 profile 中分別安裝。
  • 安裝後需重啓 DSH Web 並重新加載頁面。
  • API Key 只通過 DSH Credentials 保存,不寫入插件 Settings 或 cordis.patch.yml。
  • Remote image URLs 默認禁用,啓用屬於高級配置行爲。

高級配置

高級配置位於 cordis.patch.yml。已覈實的配置範圍包括:

請求限制
重試
自定義請求頭
認證覆蓋
遠程 URL
文件系統策略

在 Settings 中編輯方案時,cordis.patch.yml 中對應的高級配置會被保留。

參考鏈接

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜