dsh-vision-imagen:DeepSeek Harness 的視覺識別與圖像生成插件

前言

DeepSeek Harness(DSH)的擴展能力以插件形式接入。當 DeepSeek 模型需要處理圖片任務時,通常需要額外接入視覺模型或圖像生成服務。dsh-vision-imagen 是 xuxun-oss 維護的 DSH 插件,用於橋接 Google Gemini 的多模態識別與圖像生成,並支持部分 OpenAI 兼容後端。

下面介紹它的定位、能力、安裝方式與注意事項。

這是什麼

dsh-vision-imagen 是一個 MIT 許可證的 DSH 插件,包名爲 dsh-vision-imagen,版本爲 1.3.0。

它解決的是一個具體需求:在常規 DeepSeek 會話中,需要看圖、生圖、改圖時,不必手動切換模型,插件按任務路由到視覺或生圖後端。

基礎要求如下:

項目 要求
宿主 DeepSeek Harness dsh ≥ 0.1.0-rc.7
運行環境 Node.js ≥ 18
peerDependencies @deepseek-ai/dsh-tools(*)、react(^18.2.0)
API Key 需自備,Gemini 可用 Google AI Studio 免費 Key

核心能力

圖片識別

插件說明中列出的 vision_read 用於識別、讀取、描述和分析圖片,覆蓋 OCR、物體、圖表等場景。輸入支持本地路徑或 http(s) URL。

文本生圖

插件說明中列出的 generate_image 用於文本生圖。生成後會調用 Gemini 視覺模型進行自檢反饋,不達標時按優化 prompt 重繪。

改圖

插件說明中列出的 edit_image 用於修改或優化已有圖片:先分析原圖,再生成改進版並自檢迭代。

會話內自動路由

在常規 DeepSeek 會話中,插件可按任務路由到視覺或生圖模型,無需手動切換模型。

後端與設置

插件說明支持 Gemini 默認後端,以及 OpenAI 兼容後端,示例包括 GPT-4o、Qwen-VL、GLM-4V、gpt-image、DALL-E、Flux 等。設置頁可配置 API Key、後端 Provider 與模型,並支持模型不可用時自動降級。

圖片輸出

生成的圖片保存在:

~/.dsh/vision-imagen-images/

結果卡片內聯顯示,並提供可點擊鏈接:

/api/vision-imagen/images/<file>

安裝與啓用

先確認本機滿足 dsh 與 Node.js 版本要求。

一行安裝命令爲:

dsh plugin --profile web add dsh-vision-imagen

本地試用也可以先克隆倉庫,再加載本地目錄:

git clone https://github.com/xuxun-oss/dsh-vision-imagen.git
dsh plugin --profile web add /path/to/dsh-vision-imagen

安裝後打開:

設置 → Vision Imagen

填入 Google AI Studio 的 API Key,點「測試連接」。

如果改用 OpenAI 兼容後端,在設置頁的「後端 Provider」中切換後端,並填入對應 API Key 與端點。如果使用 Gemini 後端,按 README 提示僅走原生 Gemini REST API(generateContent / predict),端點不要追加 /openai。

典型用法

1、識別圖片:在會話中給出本地路徑或 http(s) URL,提出“識別這張圖”“讀取圖中表格”等需求。插件說明中對應工具爲 vision_read。

2、文本生圖:描述目標畫面,提出生成需求。插件說明中對應工具爲 generate_image。生成後會有視覺模型自檢反饋,不達標時按優化 prompt 重繪。

3、改圖:給出已有圖片,提出“優化背景”“調整畫面”等需求。插件說明中對應工具爲 edit_image。

4、切換後端:在設置頁選擇 Gemini 或 OpenAI 兼容後端,填入對應 API Key 與端點,再執行上面的任務。

適用場景與注意

適合以下場景:

  • 需要以 DSH 插件方式接入視覺識別與圖像生成能力。
  • 希望在常規 DeepSeek 會話中同時處理圖片理解、生圖和改圖。
  • 已自備 Gemini 或 OpenAI 兼容後端 API Key。

需要注意:

  • 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。
  • API Key 保存在本機配置文件中,路徑爲:
~/.dsh/vision-imagen.json

設置頁回顯僅顯示後 4 位,且不應提交到版本庫。
- 插件 HTTP 路由僅允許本機迴環地址訪問,路由前綴爲:

/api/vision-imagen/*

非 loopback 請求返回 403。
- 如果使用 Gemini 後端,按 README 提示使用原生 Gemini REST API 端點,不要追加 /openai。
- 設置頁支持模型不可用時自動降級。本文不展開具體模型鏈。

鏈接

  • 社區插件目錄頁:https://www.skillhub.cn/plugins/xuxun-oss/dsh-vision-imagen
  • GitHub:https://github.com/xuxun-oss/dsh-vision-imagen
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜