dsh-tool-describe-image:給 DSH 增加圖片理解能力

前言

在 DSH 插件生態裏,不少能力由社區插件補齊。dsh-tool-describe-image 是其中一項,面向“文本模型需要處理圖片輸入”的場景:通過任意 OpenAI 兼容視覺端點,把圖片轉成文字或結構化 HTML,再交給 DeepSeek 使用。

下面按 DSH 插件的方式介紹它:解決什麼問題、怎麼安裝、怎麼配置、典型用法,以及哪些限制需要提前知道。

這是什麼

sala003/dsh-tool-describe-image 是一個 MIT 許可證的 DSH 插件,由 sala003 維護。它的定位是:讓 DeepSeek 通過視覺端點“看見”圖片,支持百鍊 qwen-vl、智譜 GLM-4V、OpenRouter、自建代理等 OpenAI 兼容視覺端點。

它不是單獨的視覺 API,而是把視覺端點接入 DSH:

  • 通過工具調用把指定路徑的圖片轉成文字描述。
  • 在 Web 輸入框粘貼圖片後,自動識別並填入文本或 HTML。
  • 通過 check_balance 查詢 DeepSeek 賬戶餘額,含贈送/充值拆分。
  • 提供一個可拖動、可切換表情、帶狀態氣泡、與 Agent 狀態聯動的鯨魚娘桌寵設置入口。

插件說明爲“零源碼改動”,完全通過 DSH 公開擴展點實現;包形態爲單 npm 包,包含 host 半區和瀏覽器半區,雙語文案可跟隨 Web 界面語言切換。

核心功能

下面列的是已覈實能力:

  • 通過任意 OpenAI 兼容視覺端點,把圖片轉成文字或結構化 HTML。
  • 零配置可進 DSH:不配 API key 也能正常啓動,視覺功能可從設置窗補配。
  • 自定義 Prompt 與輸出格式:可選文本描述或結構化 HTML。
  • Web 粘貼即識別:Ctrl+V 粘貼圖片,自動識別成文字/HTML 填入輸入框。
  • describe_image 工具:模型按路徑讀取圖片轉成文字,Web / headless 可用。
  • check_balance 工具:查詢 DeepSeek 賬戶餘額,含贈送/充值拆分。
  • 懸浮鯨魚娘桌寵:支持拖動、表情切換、狀態氣泡、Agent 狀態聯動。

安裝與啓用

先確認已安裝 DSH,版本要求爲 0.1.0-rc.6+。然後執行:

npm install -g dsh-tool-describe-image
dsh plugin --profile web add dsh-tool-describe-image

安裝後啓動 Web:

dsh web

如果從舊版升級,注意 0.5.0 存在打包缺陷,已由 0.5.1 修復。若裝過 0.5.0 並出現:

Cannot read properties of undefined (reading 'prepare')

需先 remove 再裝 0.5.1。

升級後必須重啓 dsh 並刷新瀏覽器(Ctrl+F5)。

配置

最低要求是配置視覺 API key。可以用環境變量:

$env:DASHSCOPE_API_KEY = "sk-你的key"

也可以寫入:

~/.dsh/profiles/web/.env

內容爲:

DASHSCOPE_API_KEY=sk-你的key

注意:環境變量優先級高於憑據庫。設置 DASHSCOPE_API_KEY 時,設置面板保存會提示環境變量遮蔽;直接改 .env 或環境變量即可。

也可以在 ~/.dsh/profiles/web/cordis.patch.yml 中覆蓋模型,例如:

- insert:
    - id: describe-image
      name: 'dsh-tool-describe-image'
      config:
        model: qwen-vl-max

餘額查詢默認複用 DEEPSEEK_API_KEY,可通過 deepseekBaseUrl 覆蓋端點。

典型用法

粘貼圖片識別

1、任意截圖 Ctrl+C。
2、在 DSH Web 輸入框中 Ctrl+V。
3、識別後文字描述自動填入輸入框。
4、回車發送。

按路徑讓模型描述

對模型說:

描述一下 C:\Users\你的用戶名\Pictures\image.png

模型會自動調用 describe_image,再基於返回內容回答。

用鯨魚娘桌寵配置

雙擊右下角鯨魚娘,打開懸浮設置面板。可在面板中配置視覺 API,拖動位置並記憶。

查詢 DeepSeek 餘額

對模型說:

查一下我的 DeepSeek 餘額

模型會自動調用 check_balance。也可以雙擊鯨魚娘,在設置面板點「查餘額」。

適用場景與注意

這個插件適合這些情況:

  • 想在 DSH 的 Web 或 headless 場景裏給文本模型加圖片理解能力。
  • 想接入任意 OpenAI 兼容視覺端點,而不綁定單一廠商。
  • 希望在 DSH 內順手查詢 DeepSeek 賬戶餘額。
  • 希望不配置 key 時也能啓動,後續從設置窗補配視覺功能。

使用前需要注意:

  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。當前許可證爲 MIT。
  • 僅支持 PNG / JPG / WebP / GIF,按字節檢測,不信擴展名。
  • 單張圖片讀取上限 8 MiB,HTTP 協作超時 60000 ms。
  • 未配置視覺 API key 時,可能報 DashScope API key missing。
  • 升級後必須重啓 dsh 並刷新瀏覽器(Ctrl+F5)。

結尾

dsh-tool-describe-image 的價值比較集中:用視覺端點把圖片變成文本或 HTML,讓文本模型在 DSH 裏繼續處理;同時把配置入口放在 Web 端,降低臨時接入成本。

項目倉庫:

  • GitHub:https://github.com/sala003/dsh-tool-describe-image
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜