前言¶
DeepSeek Harness(DSH)的擴展能力以插件形式接入。當 DeepSeek 模型需要處理圖片任務時,通常需要額外接入視覺模型或圖像生成服務。dsh-vision-imagen 是 xuxun-oss 維護的 DSH 插件,用於橋接 Google Gemini 的多模態識別與圖像生成,並支持部分 OpenAI 兼容後端。
下面介紹它的定位、能力、安裝方式與注意事項。
這是什麼¶
dsh-vision-imagen 是一個 MIT 許可證的 DSH 插件,包名爲 dsh-vision-imagen,版本爲 1.3.0。
它解決的是一個具體需求:在常規 DeepSeek 會話中,需要看圖、生圖、改圖時,不必手動切換模型,插件按任務路由到視覺或生圖後端。
基礎要求如下:
| 項目 | 要求 |
|---|---|
| 宿主 | DeepSeek Harness dsh ≥ 0.1.0-rc.7 |
| 運行環境 | Node.js ≥ 18 |
| peerDependencies | @deepseek-ai/dsh-tools(*)、react(^18.2.0) |
| API Key | 需自備,Gemini 可用 Google AI Studio 免費 Key |
核心能力¶
圖片識別¶
插件說明中列出的 vision_read 用於識別、讀取、描述和分析圖片,覆蓋 OCR、物體、圖表等場景。輸入支持本地路徑或 http(s) URL。
文本生圖¶
插件說明中列出的 generate_image 用於文本生圖。生成後會調用 Gemini 視覺模型進行自檢反饋,不達標時按優化 prompt 重繪。
改圖¶
插件說明中列出的 edit_image 用於修改或優化已有圖片:先分析原圖,再生成改進版並自檢迭代。
會話內自動路由¶
在常規 DeepSeek 會話中,插件可按任務路由到視覺或生圖模型,無需手動切換模型。
後端與設置¶
插件說明支持 Gemini 默認後端,以及 OpenAI 兼容後端,示例包括 GPT-4o、Qwen-VL、GLM-4V、gpt-image、DALL-E、Flux 等。設置頁可配置 API Key、後端 Provider 與模型,並支持模型不可用時自動降級。
圖片輸出¶
生成的圖片保存在:
~/.dsh/vision-imagen-images/
結果卡片內聯顯示,並提供可點擊鏈接:
/api/vision-imagen/images/<file>
安裝與啓用¶
先確認本機滿足 dsh 與 Node.js 版本要求。
一行安裝命令爲:
dsh plugin --profile web add dsh-vision-imagen
本地試用也可以先克隆倉庫,再加載本地目錄:
git clone https://github.com/xuxun-oss/dsh-vision-imagen.git
dsh plugin --profile web add /path/to/dsh-vision-imagen
安裝後打開:
設置 → Vision Imagen
填入 Google AI Studio 的 API Key,點「測試連接」。
如果改用 OpenAI 兼容後端,在設置頁的「後端 Provider」中切換後端,並填入對應 API Key 與端點。如果使用 Gemini 後端,按 README 提示僅走原生 Gemini REST API(generateContent / predict),端點不要追加 /openai。
典型用法¶
1、識別圖片:在會話中給出本地路徑或 http(s) URL,提出“識別這張圖”“讀取圖中表格”等需求。插件說明中對應工具爲 vision_read。
2、文本生圖:描述目標畫面,提出生成需求。插件說明中對應工具爲 generate_image。生成後會有視覺模型自檢反饋,不達標時按優化 prompt 重繪。
3、改圖:給出已有圖片,提出“優化背景”“調整畫面”等需求。插件說明中對應工具爲 edit_image。
4、切換後端:在設置頁選擇 Gemini 或 OpenAI 兼容後端,填入對應 API Key 與端點,再執行上面的任務。
適用場景與注意¶
適合以下場景:
- 需要以 DSH 插件方式接入視覺識別與圖像生成能力。
- 希望在常規 DeepSeek 會話中同時處理圖片理解、生圖和改圖。
- 已自備 Gemini 或 OpenAI 兼容後端 API Key。
需要注意:
- 插件以當前 dsh 進程權限運行,安裝前應檢查源碼與許可證。
- API Key 保存在本機配置文件中,路徑爲:
~/.dsh/vision-imagen.json
設置頁回顯僅顯示後 4 位,且不應提交到版本庫。
- 插件 HTTP 路由僅允許本機迴環地址訪問,路由前綴爲:
/api/vision-imagen/*
非 loopback 請求返回 403。
- 如果使用 Gemini 後端,按 README 提示使用原生 Gemini REST API 端點,不要追加 /openai。
- 設置頁支持模型不可用時自動降級。本文不展開具體模型鏈。
鏈接¶
- 社區插件目錄頁:https://www.skillhub.cn/plugins/xuxun-oss/dsh-vision-imagen
- GitHub:https://github.com/xuxun-oss/dsh-vision-imagen