auto-vision:DSH 圖片一體化插件

在 DSH 環境中,直接粘貼圖片往往會導致對話報錯,或者圖片無法在聊天窗口中正常渲染,這會打斷對話流。auto-vision 插件通過自動清洗圖片數據並註冊 see_image 工具,解決了這一問題。它讓文本模型在需要時能自動調用視覺模型讀取內容,且不改變原有的對話邏輯。

插件定位

這是一個 DSH 插件,旨在實現圖片的一體化處理。它解決了“貼圖導致報錯”和“圖片顯示異常”的問題,支持智譜和魔搭社區的免費視覺模型,同時也兼容任意 OpenAI 兼容平臺。

安裝與啓用

  1. 把本目錄拷貝到 DSH profile 的 node_modules 下(例如 ~/.dsh/profiles/web/node_modules/auto-vision/)。
  2. 在 profile 的 cordis.patch.yml 中插入以下內容:
    - insert:
        - id: auto-vision
          name: auto-vision
  1. 配置 Token 後,重啓 DSH 進程。

配置 Token

插件支持通過環境變量或憑證文件配置。支持的視覺平臺包括:

  • 智譜 BigModel:設置 ZHIPU_API_KEY,模型爲 GLM-4V-Flash。
  • 魔搭 ModelScope:設置 MODELSCOPE_API_KEY,模型爲 Qwen3-VL。
  • 其他 OpenAI 兼容平臺:設置 VISION_API_KEY、VISION_ENDPOINT、VISION_MODEL。

也可以直接寫入 ~/.dsh/.credentials.yaml 文件中。

export ZHIPU_API_KEY=xxx          # 用智譜
export MODELSCOPE_API_KEY=xxx     # 用魔搭

切換視覺源

默認使用魔搭。通過環境變量 VISION_PROVIDER=zhipu 或在插件 config 中設置 provider: zhipu 切換。

對於本地或其他平臺,在插件 config 中設置 endpoint 和 models 即可:

config:
  endpoint: http://127.0.0.1:11434/v1/chat/completions
  models: [qwen2.5-vl:7b]

注意事項

  • 需要重啓 DSH 進程才能生效。
  • 依賴 @deepseek-ai/dsh-tools >= 0.0.1-rc.0。
  • 依賴 Node.js 版本 >= 18。
  • License: MIT。

結語

該插件讓 DSH 在處理多模態對話時更加穩定,無需手動干預圖片清洗流程。更多細節可查看插件目錄或 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜