dsh-image-describer：讓 DeepSeek Harness 中的純文本模型具備視覺理解能力

DeepSeek Harness (DSH) 是一個插件化系統。純文本大模型（如 DeepSeek V4 系列）無法直接處理圖片輸入，導致在處理包含圖表、文檔截圖或界面截圖的任務時需要額外的人工輔助。dsh-image-describer 插件通過攔截 DSH 的消息流，將圖片內容轉寫爲結構化文本，從而賦予純文本模型“看圖”的能力。

核心功能¶

該插件提供以下能力：

雙模視覺交互：支持聊天框直接粘貼/拖拽圖片（附件模式）和對話中主動調用工具（Tool 模式）。
自動轉寫與 OCR：能夠自動提取圖片中的文字內容（OCR）與版面結構，生成結構化上下文。
工具調用支持：模型可在對話中主動觸發 describe_image 工具，針對本地圖片路徑進行定向分析。
上下文優化：將圖片輸入轉換爲明確的系統提示詞，避免純文本模型因接收二進制數據而崩潰。

安裝¶

在插件所在目錄下執行以下命令，將其添加到 Web Profile：

npx @deepseek-ai/dsh plugin --profile web add ./dsh-image-describer

安裝完成後，啓動 DeepSeek Harness Web 服務：

dsh web --profile web

使用方法¶

插件支持兩種互補的視覺交互場景。

場景一：聊天框粘貼圖片（附件模式）¶

在 Web UI 聊天輸入框中直接使用 Ctrl + V 粘貼屏幕截圖，或將圖片文件拖入輸入框發送。

圖片會作爲 ImageBlock 附加在用戶消息中。
插件攔截該請求，調用配置的多模態視覺模型（默認 MiniMax-M3）進行 OCR 和內容識別。
插件將圖片內容替換爲包含識別結果的系統提示詞。
純文本模型直接基於識別到的文字內容回答，無需執行額外的文件搜索或工具調用。

場景二：對話中提及文件路徑（Tool 模式）¶

在對話中提及本地圖片路徑，模型會主動調用 describe_image 工具進行分析。

用戶示例：Analyze the microservice architecture in assets/architecture.png.
用戶示例：What is the error code in the bottom-left corner of Screenshot.png?
模型觸發工具後，工具讀取本地文件並調用視覺模型分析，將結果返回給模型進行最終回答。

配置說明¶

要使用該插件，需完成兩步配置。

1. 開啓文本模型的圖片輸入通道¶

DSH 的 Web UI 和 API 網關會檢查模型是否聲明瞭 image 模態。需要在 ~/.dsh/settings.yaml 中爲對應的文本模型添加聲明：

llm-pi-ai:
  providers:
    minimax-cn:
      apiKeyEnv: MINIMAX_CN_API_KEY
    opencode-go:
      apiKeyEnv: OPENCODE_GO_API_KEY
      modelOverrides:
        deepseek-v4-flash:
          input: [text, image]
        deepseek-v4-pro:
          input: [text, image]

2. 插件配置¶

在 Profile 的 cordis.patch.yml 中配置插件參數：

- insert:
    - id: image-describer-tool
      name: dsh-image-describer
      inject: [tools, llm, attachments]
      config:
        provider: minimax-cn       # 多模態模型提供者路由
        model: MiniMax-M3          # 視覺模型 ID
        maxTokens: 2048            # 單次分析最大輸出 tokens
        timeoutMs: 60000           # 分析超時時間（毫秒）

注意事項¶

前置依賴：必須在 settings.yaml 中正確配置多模態視覺模型（默認 MiniMax-M3）及其 API Key，否則插件無法工作。
模型聲明：必須爲文本模型聲明 input: [text, image]，否則無法啓用圖片輸入功能。
性能限制：單次分析最大輸出 tokens 限制爲 2048，超時時間設置爲 60000 毫秒。