dsh-image-vision：純文本模型接入視覺能力

前言¶

DeepSeek Harness (DSH) 的核心設計理念是“一切皆插件”。在開發智能體時，主模型往往通過純文本路由（例如通過 pi-ai 路由的 DeepSeek V4 Flash）運行，這導致模型無法直接處理圖片輸入。現有的社區方案通常需要替換官方適配器，這種方式侵入性強且容易破壞插件生態的穩定性。dsh-image-vision 插件通過包裝 llm.resolveModelInfo 並監聽官方 agent/pre-step 瀑布流，在不觸碰任何主機代碼或核心文件的前提下，讓純文本主模型具備圖片理解能力。

核心功能¶

通用圖片輸入：支持在對話中粘貼或拖拽圖片。即使主模型聲明僅支持文本，圖片也會被傳遞給視覺模型進行描述，最終以文本形式返回給主模型。
飛書/Lark 文檔支持：解析飛書/Lark 文檔中的 <image token>，自動下載圖片並描述，結果注入到工具輸出中。
語義理解而非 OCR：不僅識別文字，還能描述場景、人物、表格和圖表的語義。
本地描述工具：提供 describe_image 模型工具，可直接描述本地圖片路徑。

安裝與啓用¶

使用 dsh plugin 管理器安裝插件：

npx @deepseek-ai/dsh plugin --profile web add github:VeryInt/dsh-image-vision

安裝完成後，重啓 DeepSeek Harness。插件將在 Settings → Plugins 中出現。

配置說明¶

該插件依賴配置視覺模型提供者。在 settings.yaml 中添加支持圖片輸入的模型配置，並聲明 input: [text, image]。

llm-pi-ai:
  providers:
    modelscope:
      displayName: ModelScope
      apiKeyEnv: MODELSCOPE_API_KEY
      api: openai-completions
      baseURL: https://api-inference.modelscope.cn/v1
      models:
        - id: Qwen/Qwen3-VL-8B-Instruct
          name: Qwen3-VL-8B
          input: [ text, image ]

同時，在插件配置（cordis.patch.yml）中指定視覺模型路由。若兩者均留空，插件將自動掃描 settings.yaml 中首個聲明 input: [text, image] 的模型。

使用示例¶

粘貼圖片：在聊天框粘貼圖片，模型將輸出 [圖片內容] ...。
飛書文檔：使用飛書工具讀取文檔後，模型可描述其中的圖片內容。
本地文件：調用 describe_image 工具，傳入本地文件路徑獲取描述。

注意事項¶

環境要求：需要 DeepSeek Harness 0.1.0-rc.6 及以上版本，以及 Node.js >= 22.19。
模型後綴：必須使用帶有 VL 後綴的視覺模型（如 Qwen/Qwen3-VL-8B），純文本模型即使配置了圖片輸入也無法生效。
生態差異：與需要替換官方適配器的社區方案不同，此插件不破壞官方插件生態，適用於任何純文本路由。
權限限制：插件以當前 DSH 進程權限運行，安裝前請檢查源碼與許可證。

總結¶

dsh-image-vision 是一個輕量級的 DSH 插件，它通過包裝現有的 llm 服務接口，爲純文本模型提供了無縫的圖片理解能力。它不修改主機代碼，不替換官方適配器，非常適合需要在不破壞現有架構的情況下接入視覺能力的開發者。