在 DSH 環境中,直接粘貼圖片往往會導致對話報錯,或者圖片無法在聊天窗口中正常渲染,這會打斷對話流。auto-vision 插件通過自動清洗圖片數據並註冊 see_image 工具,解決了這一問題。它讓文本模型在需要時能自動調用視覺模型讀取內容,且不改變原有的對話邏輯。
插件定位¶
這是一個 DSH 插件,旨在實現圖片的一體化處理。它解決了“貼圖導致報錯”和“圖片顯示異常”的問題,支持智譜和魔搭社區的免費視覺模型,同時也兼容任意 OpenAI 兼容平臺。
安裝與啓用¶
- 把本目錄拷貝到 DSH profile 的
node_modules下(例如~/.dsh/profiles/web/node_modules/auto-vision/)。 - 在 profile 的
cordis.patch.yml中插入以下內容:
- insert:
- id: auto-vision
name: auto-vision
- 配置 Token 後,重啓 DSH 進程。
配置 Token¶
插件支持通過環境變量或憑證文件配置。支持的視覺平臺包括:
- 智譜 BigModel:設置
ZHIPU_API_KEY,模型爲 GLM-4V-Flash。 - 魔搭 ModelScope:設置
MODELSCOPE_API_KEY,模型爲 Qwen3-VL。 - 其他 OpenAI 兼容平臺:設置
VISION_API_KEY、VISION_ENDPOINT、VISION_MODEL。
也可以直接寫入 ~/.dsh/.credentials.yaml 文件中。
export ZHIPU_API_KEY=xxx # 用智譜
export MODELSCOPE_API_KEY=xxx # 用魔搭
切換視覺源¶
默認使用魔搭。通過環境變量 VISION_PROVIDER=zhipu 或在插件 config 中設置 provider: zhipu 切換。
對於本地或其他平臺,在插件 config 中設置 endpoint 和 models 即可:
config:
endpoint: http://127.0.0.1:11434/v1/chat/completions
models: [qwen2.5-vl:7b]
注意事項¶
- 需要重啓 DSH 進程才能生效。
- 依賴
@deepseek-ai/dsh-tools >= 0.0.1-rc.0。 - 依賴 Node.js 版本 >= 18。
- License: MIT。
結語¶
該插件讓 DSH 在處理多模態對話時更加穩定,無需手動干預圖片清洗流程。更多細節可查看插件目錄或 GitHub 倉庫。