在 DSH 环境中,直接粘贴图片往往会导致对话报错,或者图片无法在聊天窗口中正常渲染,这会打断对话流。auto-vision 插件通过自动清洗图片数据并注册 see_image 工具,解决了这一问题。它让文本模型在需要时能自动调用视觉模型读取内容,且不改变原有的对话逻辑。
插件定位¶
这是一个 DSH 插件,旨在实现图片的一体化处理。它解决了“贴图导致报错”和“图片显示异常”的问题,支持智谱和魔搭社区的免费视觉模型,同时也兼容任意 OpenAI 兼容平台。
安装与启用¶
- 把本目录拷贝到 DSH profile 的
node_modules下(例如~/.dsh/profiles/web/node_modules/auto-vision/)。 - 在 profile 的
cordis.patch.yml中插入以下内容:
- insert:
- id: auto-vision
name: auto-vision
- 配置 Token 后,重启 DSH 进程。
配置 Token¶
插件支持通过环境变量或凭证文件配置。支持的视觉平台包括:
- 智谱 BigModel:设置
ZHIPU_API_KEY,模型为 GLM-4V-Flash。 - 魔搭 ModelScope:设置
MODELSCOPE_API_KEY,模型为 Qwen3-VL。 - 其他 OpenAI 兼容平台:设置
VISION_API_KEY、VISION_ENDPOINT、VISION_MODEL。
也可以直接写入 ~/.dsh/.credentials.yaml 文件中。
export ZHIPU_API_KEY=xxx # 用智谱
export MODELSCOPE_API_KEY=xxx # 用魔搭
切换视觉源¶
默认使用魔搭。通过环境变量 VISION_PROVIDER=zhipu 或在插件 config 中设置 provider: zhipu 切换。
对于本地或其他平台,在插件 config 中设置 endpoint 和 models 即可:
config:
endpoint: http://127.0.0.1:11434/v1/chat/completions
models: [qwen2.5-vl:7b]
注意事项¶
- 需要重启 DSH 进程才能生效。
- 依赖
@deepseek-ai/dsh-tools >= 0.0.1-rc.0。 - 依赖 Node.js 版本 >= 18。
- License: MIT。
结语¶
该插件让 DSH 在处理多模态对话时更加稳定,无需手动干预图片清洗流程。更多细节可查看插件目录或 GitHub 仓库。