前言¶

DSH 的擴展方式偏插件化：模型、後端、UI 能力可以拆成獨立插件接入。對做智能體的同學來說，一個常見斷點是：文本對話可以跑，但截圖、報錯圖、圖表、設計稿要先識別成文字，才能交給文本模型繼續處理；需要配圖時，生成結果也往往散落在外部服務裏。

已有做法通常是自己維護視覺 API、圖像 API、轉寫提示詞、緩存和失敗重試。dsh-multimodal 把這些步驟收進 DeepSeek Harness 的會話鏈路：先讀圖，再讓 DeepSeek 繼續處理；需要配圖時，在會話裏直接顯示生成圖片。

這是什麼¶

dsh-multimodal 是 DeepSeek Harness（DSH）插件，維護者是 MC5lan。它提供三類能力：視覺轉寫、OCR、文本生圖，並通過 OpenAI 兼容後端完成實際調用。

它不自帶內置模型、提供方或後端。視覺端點、圖像後端和模型都需要用戶自行配置。

核心功能¶

圖片轉寫後繼續回答¶

粘貼截圖或圖片後，插件會先調用用戶配置的視覺提供方做逐字轉寫，再由 DeepSeek 在同一輪繼續處理問題。

同一圖片與上下文可複用轉寫緩存；緩存爲 LRU，並按會話限制。

主視覺提供方失敗或受限時，可以切換到 fallbackProviders；parallelImages 支持多圖並行轉寫；小圖可依據 costMaxPixels 路由到廉價提供方。

OCR 與場景化轉寫¶

插件支持調用 extract_text 進行 OCR，輸出 Markdown、純文本或 JSON。

內置 transcribeMode 預設：

• error-fix
• chart-sql
• design-code

文本生圖與圖片卡片¶

用戶要求配圖時，DeepSeek 可調用 generate_image，生成的圖片會在會話中顯示。

生成圖片卡片支持：縮略圖、點擊放大、一鍵下載、提示詞與模型元數據、crop-to-ask、copy params、失敗重試。

圖像生成後端 failover 在失敗時嘗試下一個後端；AUTH/aborted 會跳過 failover。

支持通過 custom 後端接入任意非 OpenAI/DashScope 圖像 API。

視覺提供方接入¶

extraProviders 接受任意 OpenAI 兼容視覺端點，並提供預設：Zhipu、Bailian、Xfyun、ModelScope、SiliconFlow、Qianfan、local Ollama。

0.7+ 支持粘貼 API key 後自動檢測平臺並完成接入。

設置頁支持配置 JSON 導入/導出。

安裝與啓用¶

先確認環境：官方 DeepSeek Harness 0.1.0-rc.6+ 以及 Node.js 18+。

然後執行：

dsh plugin --profile web add https://github.com/MC5lan/dsh-multimodal

經過上面的步驟，重啓 dsh web。進入 Settings sidebar，會出現「多模態 / Multimodal」頁面，視覺與圖像相關配置都在這一個頁面完成。

典型用法¶

1、快速接入（0.7+）：打開 Settings → Multimodal → 快速接入，粘貼 API key，平臺自動檢測並完成接入。

2、手動接入：點擊平臺預設卡片（Zhipu / Bailian / Xfyun / ModelScope / SiliconFlow / Qianfan / local Ollama）並粘貼 key，或在 extraProviders 中聲明任意 OpenAI 兼容端點。

3、選擇視覺路由：在 Web UI 模型選擇器中選擇 deepseek-vision 模型，該路由會話獲得視覺能力。

4、開始使用：正常聊天時粘貼/拖入圖片並提問，或直接要求生成圖片。

適用場景與注意¶

適合已有 OpenAI 兼容視覺 API、圖像 API 或本地 Ollama 視覺端點，並希望在 DSH 對話中直接讀圖、提取文本、生成配圖的使用者。

使用前注意：

• 插件不自帶模型、提供方或後端，視覺端點、圖像後端和模型都需自行配置。
• 插件以當前 DSH 進程權限運行，安裝前應檢查源碼與許可證；許可證以倉庫實際聲明爲準。
• 安全限制包括：API key allow-list、trustedBaseUrls、SSRF guard、不轉發 sessionId、prompt-injection markers、敏感數據脫敏、審計日誌和 LRU 內存上限。
• 顯式列出的本地端點（如 http://localhost:11434）允許使用 plain http 且無需 key。

鏈接¶

• 目錄頁：DSH 插件目錄是社區目錄，不等同於官方應用商店；可在目錄中搜索 dsh-multimodal。
• GitHub 倉庫：https://github.com/MC5lan/dsh-multimodal