dsh-plugin-deepeye:爲 DSH 提供視覺能力的 Cordis 插件

前言

在 DSH 的日常使用中,很多會話由文本模型完成。若希望模型處理圖片,常見做法是手工把圖片發給外部視覺服務,再把結果貼回上下文。這種方式在連續任務裏比較瑣碎。

Favio8/dsh-plugin-deepeye 把視覺能力做成 DSH 的原生 Cordis 插件:先提供一組可調用工具,再處理“純文本會話裏粘貼圖片”的場景。

這是什麼

dsh-plugin-deepeyeFavio8 維護,許可證爲 MIT

它爲 DeepSeek Harness (DSH) 提供視覺能力的原生 Cordis 插件,覆蓋圖片描述、OCR 文字提取、視覺問答、UI 佈局分析、剪貼板截圖分析等能力。

核心功能

下面介紹幾個主要能力。

  • 工具化視覺調用:提供 vision_describevision_ocrvision_askvision_layoutvision_clipboard 工具。
  • 多後端:支持 OpenAI (GPT-4o)Google Gemini、自定義 OpenAI-compatible 端點。
  • 粘貼圖片兼容:支持粘貼圖片自動翻譯(pasteCompat)。
  • 結果緩存:支持 LRU 結果緩存(含 TTL)。
  • 圖片預處理:自動縮放過大圖片並轉換 JPEG 以節省 token。
  • 剪貼板讀取:非阻塞異步讀取系統剪貼板。

安裝與啓用

先確認當前環境滿足 Node >=22.19.0。然後執行:

dsh plugin --profile web add dsh-plugin-deepeye

經過上面的步驟後,檢查 profile 配置中是否出現插件層:

dsh --profile web --dump-config

輸出中確認出現 dsh-plugin-deepeye 層即可。啓動命令:

dsh web

其中,web--profile web 的別名。

配置 OpenAI

設置 OPENAI_API_KEY 環境變量後,在 cordis.yml 中配置 provider: openai 即可使用。

export OPENAI_API_KEY=sk-xxx
- id: deepeye-vision
  name: 'dsh-plugin-deepeye'
  config:
    provider: openai

配置 custom 端點

自定義 OpenAI-compatible 端點通常使用 patch 文件疊加。示例命令:

dsh web --patch ./examples/zhipu-glm4v.cordis.patch.yml

使用 custom provider 時,示例中 baseUrlmodel 爲必填。

粘貼圖片兼容

插件支持 pasteCompat,取值爲 offautoforce,默認 auto

- id: deepeye-vision
  config:
    pasteCompat: auto

注意

  • 插件以當前 dsh 進程權限運行。安裝前應檢查源碼與許可證。
  • sharp 未安裝,插件仍可運行,但圖片不會縮放/轉 JPEG,啓動日誌會給出一次性警告。
  • 許可證爲 MIT

鏈接

GitHub 倉庫:https://github.com/Favio8/dsh-plugin-deepeye

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜