auto-vision:DSH 图片一体化插件

在 DSH 环境中,直接粘贴图片往往会导致对话报错,或者图片无法在聊天窗口中正常渲染,这会打断对话流。auto-vision 插件通过自动清洗图片数据并注册 see_image 工具,解决了这一问题。它让文本模型在需要时能自动调用视觉模型读取内容,且不改变原有的对话逻辑。

插件定位

这是一个 DSH 插件,旨在实现图片的一体化处理。它解决了“贴图导致报错”和“图片显示异常”的问题,支持智谱和魔搭社区的免费视觉模型,同时也兼容任意 OpenAI 兼容平台。

安装与启用

  1. 把本目录拷贝到 DSH profile 的 node_modules 下(例如 ~/.dsh/profiles/web/node_modules/auto-vision/)。
  2. 在 profile 的 cordis.patch.yml 中插入以下内容:
    - insert:
        - id: auto-vision
          name: auto-vision
  1. 配置 Token 后,重启 DSH 进程。

配置 Token

插件支持通过环境变量或凭证文件配置。支持的视觉平台包括:

  • 智谱 BigModel:设置 ZHIPU_API_KEY,模型为 GLM-4V-Flash。
  • 魔搭 ModelScope:设置 MODELSCOPE_API_KEY,模型为 Qwen3-VL。
  • 其他 OpenAI 兼容平台:设置 VISION_API_KEY、VISION_ENDPOINT、VISION_MODEL。

也可以直接写入 ~/.dsh/.credentials.yaml 文件中。

export ZHIPU_API_KEY=xxx          # 用智谱
export MODELSCOPE_API_KEY=xxx     # 用魔搭

切换视觉源

默认使用魔搭。通过环境变量 VISION_PROVIDER=zhipu 或在插件 config 中设置 provider: zhipu 切换。

对于本地或其他平台,在插件 config 中设置 endpoint 和 models 即可:

config:
  endpoint: http://127.0.0.1:11434/v1/chat/completions
  models: [qwen2.5-vl:7b]

注意事项

  • 需要重启 DSH 进程才能生效。
  • 依赖 @deepseek-ai/dsh-tools >= 0.0.1-rc.0。
  • 依赖 Node.js 版本 >= 18。
  • License: MIT。

结语

该插件让 DSH 在处理多模态对话时更加稳定,无需手动干预图片清洗流程。更多细节可查看插件目录或 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜