DSH 的模型推理通常依賴適配器來對接各類大模型。對於純文本 LLM（如 DeepSeek R1、GPT-4 base 等），直接粘貼或拖拽圖片無法被模型識別，通常只能被忽略或導致請求失敗。dsh-plugin-image-input 插件接管了圖片輸入流程，通過本地調用視覺 API 將圖片轉爲結構化文字描述，讓純文本模型也能獲得圖片上下文。
插件信息¶
- 名稱：dsh-plugin-image-input
- 維護者：Elohia
- 類別：模型推理
- 許可證：MIT
- 倉庫：https://github.com/Elohia/dsh-plugin-image-input
- 目錄頁：https://www.skillhub.cn/plugins/Elohia/dsh-plugin-image-input
安裝與啓用¶
在終端中執行以下命令完成安裝。如果已安裝，無需重複執行。
# 方式 A：從本地目錄安裝（拿到插件目錄後）
dsh plugin --profile web add D:\path\to\dsh-plugin-image-input
# 方式 B：從 npm / GitHub 安裝
dsh plugin --profile web add dsh-plugin-image-input
安裝完成後，重啓 DSH web 即可生效。
配置視覺 API¶
插件依賴外部視覺 API 進行圖片轉文字，需在設置頁配置一次。配置文件存儲於 ~/.config/mm-vision/config.json，也可以通過環境變量回退讀取。
- 打開 DSH web 設置頁。
- 找到 圖片轉文字 配置項。
- 填寫以下字段：
| 字段 | 說明 | 示例 |
|---|---|---|
baseUrl |
OpenAI 兼容接口地址（不含 /chat/completions） |
https://dashscope.aliyuncs.com/compatible-mode/v1 |
model |
視覺模型名 | qwen-vl-max / gpt-4o / glm-4v |
apiKey |
你的 API Key（留空則保持不變） | sk-... |
maxTokens |
最大輸出 token | 2048 |
環境變量支持 MM_VISION_API_KEY、DASHSCOPE_API_KEY、QWEN_API_KEY、OPENAI_API_KEY、GEMINI_API_KEY。
核心功能¶
該插件提供以下能力：
- 自動轉文字：在對話輸入框粘貼或拖拽圖片後，直接按 Enter 或點發送，插件會自動將圖片轉爲結構化文字描述併發送。
- 結構化描述：生成的文字包含畫布、元素、百分比座標等信息，適用於 K線圖、截圖、圖表等場景。
- 多模態兼容：當使用的模型支持原生圖片通道（如 qwen-vl、gpt-4o）時，插件會自動放行，不進行劫持。
- 手動預覽：點擊輸入框左側的 🖼️ 按鈕可將圖片轉爲文字並插入輸入框，用戶修改後再發送。
- 通用兼容：不依賴 DSH 的模型適配器，支持任意 OpenAI 兼容的視覺端點。
使用方法¶
- 輸入圖片：在對話輸入框粘貼或拖拽一張圖片（會顯示縮略預覽）。
- 發送處理：
- 直接按 Enter 或發送按鈕，插件會將圖片轉爲文字描述與你的文字一起發送。
- 或先點擊 🖼️ 按鈕，只將描述插入輸入框，修改後再發送。
- 等待生成：轉換期間輸入框會顯示狀態，等待約 1 分鐘（複雜圖表較慢）。
- 查看結果：模型會收到”你的文字 + 圖片識別上下文”，不再因圖片拒絕消息。
技術與注意事項¶
- 進程權限：插件以
danger-full-access策略運行固定內容的 node 子進程。安裝前應檢查源碼與許可證。 - 安全限制：僅限本機頁面調用（Origin 校驗），請求只發往你配置的視覺 API 地址。
- 容錯機制：如果轉換失敗，插件會提示錯誤但保留圖片，不會丟失輸入內容。
- 多圖支持：支持同時處理多張圖片，插件會逐張轉換並一起發送。
總結¶
dsh-plugin-image-input 解決了純文本 LLM 無法直接處理圖片輸入的痛點。通過簡單的粘貼和發送，即可讓模型獲得圖片的上下文描述，從而提升對話的準確性。
