前言¶
DeepSeek Harness(DSH)奉行“一切皆插件”的理念。在構建基於僅文本模型的智能體時,視覺交互能力(讀取圖片、生成圖片)往往是短板。dsh-vision 插件通過接管輸入事件流和擴展工具鏈,將圖像識別與生成能力注入文本模型,使其能夠處理本地圖片描述或生成視覺內容。
插件定位¶
這是一個由 HarryLi-7 維護的 DSH 插件。它主要解決文本模型無法直接處理圖像輸入和輸出的問題,支持多引擎故障轉移鏈,並提供了完整的 UI 集成。
安裝與啓用¶
通過命令行添加插件:
dsh plugin --profile web add /path/to/dsh-vision
安裝完成後,重啓 dsh web 服務。
核心功能¶
圖像識別¶
使用 describe_image 工具讀取本地圖片。
* 輸出模式:默認返回結構化 JSON(包含描述、OCR 識別行、佈局區域、實體信息),也可配置爲純文本模式。
* 引擎鏈:Codex → Gemini → Zhipu GLM。
圖像生成¶
使用 generate_image 工具根據提示詞生成圖片。
* 質量選項:
* auto:Nano Banana 2 Lite(經濟模式)。
* hd:Nano Banana Pro 1K/2K。
* 4k:Nano Banana Pro 4K。
* 展示:生成結果以卡片形式展示在對話中,支持預覽、下載和跳轉至文件系統。
輸入方式與文件處理¶
插件在窗口級別攔截了文本模型的粘貼和拖拽操作。
* 上傳路徑:圖片會被上傳至 ~/.dsh/generated-images/uploads/,採用內容尋址存儲,相同圖片僅保留一份。
* 模型交互:實際發送給模型的是文件路徑文本,模型僅處理文本。
* 界面反饋:輸入框上方提供縮略圖預覽欄,支持橫向滾動和單圖刪除(同步移除路徑)。
存儲策略¶
插件遵循嚴格的臨時存儲原則。
* Codex 會話:使用 --ephemeral 和 --sandbox workspace-write 參數,不生成持久化會話文件。
* 上傳文件:默認保留 7 天,可通過設置中的 uploadRetentionDays 配置(設爲 0 則永久保留)。孤兒 .meta.json 側邊欄文件會自動清理。
配置與憑證¶
憑證配置¶
在 ~/.dsh/.credentials.yaml 中配置各引擎密鑰:
* DEEPSEEK_API_KEY:DeepSeek 主引擎。
* GEMINI_API_KEY:Gemini 識別(免費版,Pro 會降級爲 Flash)。
* GEMINI_IMAGE_API_KEY:Gemini 生成(需付費,屬於獨立項目)。
* ZHIPU_API_KEY:智譜 AI 回退引擎。
引擎參數設置¶
在 DSH 的 Settings 頁面找到 dsh-vision 配置項:
* codexPath:Codex CLI 路徑(留空自動檢測)。
* uploadRetentionDays:上傳文件保留天數。
* describeEngines / generateEngines:控制識別和生成的引擎調用順序。
* 引擎模型參數:例如 Codex 可配置 gpt-5.6-luna、max、priority 等參數。
環境要求¶
- Node.js 環境,需安裝 DSH harness (
dsh web)。 - Codex CLI(通過
npm install -g @openai/codex安裝),並已登錄 ChatGPT 賬戶。 - 可選:Zhipu 或 Gemini 密鑰用於回退引擎。
總結¶
dsh-vision 通過多引擎故障轉移和“用完即焚”的存儲策略,爲 DSH 提供了可靠的視覺處理能力。開發者可根據需要在設置中調整引擎鏈和參數,滿足不同的識別與生成需求。