DSH 的模型推理通常依赖适配器来对接各类大模型。对于纯文本 LLM（如 DeepSeek R1、GPT-4 base 等），直接粘贴或拖拽图片无法被模型识别，通常只能被忽略或导致请求失败。dsh-plugin-image-input 插件接管了图片输入流程，通过本地调用视觉 API 将图片转为结构化文字描述，让纯文本模型也能获得图片上下文。
插件信息¶
- 名称：dsh-plugin-image-input
- 维护者：Elohia
- 类别：模型推理
- 许可证：MIT
- 仓库：https://github.com/Elohia/dsh-plugin-image-input
- 目录页：https://www.skillhub.cn/plugins/Elohia/dsh-plugin-image-input
安装与启用¶
在终端中执行以下命令完成安装。如果已安装，无需重复执行。
# 方式 A：从本地目录安装（拿到插件目录后）
dsh plugin --profile web add D:\path\to\dsh-plugin-image-input
# 方式 B：从 npm / GitHub 安装
dsh plugin --profile web add dsh-plugin-image-input
安装完成后，重启 DSH web 即可生效。
配置视觉 API¶
插件依赖外部视觉 API 进行图片转文字，需在设置页配置一次。配置文件存储于 ~/.config/mm-vision/config.json，也可以通过环境变量回退读取。
- 打开 DSH web 设置页。
- 找到 图片转文字 配置项。
- 填写以下字段：
| 字段 | 说明 | 示例 |
|---|---|---|
baseUrl |
OpenAI 兼容接口地址（不含 /chat/completions） |
https://dashscope.aliyuncs.com/compatible-mode/v1 |
model |
视觉模型名 | qwen-vl-max / gpt-4o / glm-4v |
apiKey |
你的 API Key（留空则保持不变） | sk-... |
maxTokens |
最大输出 token | 2048 |
环境变量支持 MM_VISION_API_KEY、DASHSCOPE_API_KEY、QWEN_API_KEY、OPENAI_API_KEY、GEMINI_API_KEY。
核心功能¶
该插件提供以下能力：
- 自动转文字：在对话输入框粘贴或拖拽图片后，直接按 Enter 或点发送，插件会自动将图片转为结构化文字描述并发送。
- 结构化描述：生成的文字包含画布、元素、百分比坐标等信息，适用于 K线图、截图、图表等场景。
- 多模态兼容：当使用的模型支持原生图片通道（如 qwen-vl、gpt-4o）时，插件会自动放行，不进行劫持。
- 手动预览：点击输入框左侧的 🖼️ 按钮可将图片转为文字并插入输入框，用户修改后再发送。
- 通用兼容：不依赖 DSH 的模型适配器，支持任意 OpenAI 兼容的视觉端点。
使用方法¶
- 输入图片：在对话输入框粘贴或拖拽一张图片（会显示缩略预览）。
- 发送处理：
- 直接按 Enter 或发送按钮，插件会将图片转为文字描述与你的文字一起发送。
- 或先点击 🖼️ 按钮，只将描述插入输入框，修改后再发送。
- 等待生成：转换期间输入框会显示状态，等待约 1 分钟（复杂图表较慢）。
- 查看结果：模型会收到”你的文字 + 图片识别上下文”，不再因图片拒绝消息。
技术与注意事项¶
- 进程权限：插件以
danger-full-access策略运行固定内容的 node 子进程。安装前应检查源码与许可证。 - 安全限制：仅限本机页面调用（Origin 校验），请求只发往你配置的视觉 API 地址。
- 容错机制：如果转换失败，插件会提示错误但保留图片，不会丢失输入内容。
- 多图支持：支持同时处理多张图片，插件会逐张转换并一起发送。
总结¶
dsh-plugin-image-input 解决了纯文本 LLM 无法直接处理图片输入的痛点。通过简单的粘贴和发送，即可让模型获得图片的上下文描述，从而提升对话的准确性。
