DeepSeek Harness 宿主級視覺插件：dsh-visibridge

前言¶

DeepSeek Harness (DSH) 採用宿主級插件架構來擴展功能。純文本模型（如 DeepSeek V4）無法直接處理圖像，容易憑空猜測圖片內容。dsh-visibridge 是一個宿主級視覺插件，提供 analyze_image 和 capture_image 兩個工具。它將圖片發送給配置的視覺模型（本地 Ollama 或雲端 API），返回結構化 JSON 證據（包括 OCR 全文、版面分析、實體識別等），讓純文本模型基於這些證據進行推理，而非猜測。

核心功能¶

該插件主要解決純文本模型與視覺能力的斷層問題，提供以下能力：

圖片識別：支持本地文件路徑、HTTP(S) URL。
結構化證據：返回 summary（總結）、ocr（全文+逐行）、layout（版面）、semantics（場景+實體）等結構化數據。
多後端支持：內置預設後端，支持一行切換。
- ollama：本地處理，圖片不出本機。
- xiaomi：小米 MiMo 雲端。
- deepseek：DeepSeek 官方視覺模型。
- custom：任意 OpenAI 兼容端點。
密鑰安全：錯誤日誌中的 API Key 會自動脫敏爲 [REDACTED]。

安裝¶

插件已發佈到 npm，推薦使用官方命令安裝。

dsh plugin --profile web add dsh-visibridge

該命令會自動將插件加載進 profile 的 bundles 列表，重啓 dsh 後生效。

配置¶

插件支持通過配置文件指定後端和模型。配置優先級爲：插件默認值 → cordis.yml 配置 → 工作區 dsh-vision-config.json。

1. 工作區配置文件¶

在工作區根目錄創建 dsh-vision-config.json：

{
  "backend": "ollama",
  "model": "minicpm-v4.5",
  "timeoutMs": 300000
}

2. 後端預設¶

backend 字段決定默認配置：

ollama：本地端點，模型推薦 minicpm-v4.5。
xiaomi：雲端端點，需配置 API Key。
deepseek：官方視覺模型。

3. 憑據配置¶

在 ~/.dsh/.credentials.yaml 中配置雲端 API Key：

XIAOMI_MIMO_API_KEY: sk-xxxxxxxx

使用¶

安裝並重啓 dsh 後，工具會自動註冊。

圖片分析¶

將圖片放入會話工作區。
對 AI 發送指令，例如 看下這張圖 或 分析 xxx.png。
AI 調用 analyze_image 工具，基於結構化證據進行回答。

攝像頭拍攝識別¶

連接 USB 攝像頭後，AI 可自主調用 capture_image 工具。例如對 AI 說：
* “拍一張看下手機屏幕”
* “看看現在屏幕顯示什麼錯誤”

AI 會自動拍照、識別並返回結構化證據。截圖保存在工作區 .captures/ 目錄下。

硬件與注意事項¶

環境要求：
- Node.js >= 22。
- 若使用 Ollama，需安裝對應視覺模型。
攝像頭要求（僅 capture_image 使用）：
- USB 接口（UVC 免驅）。
- 支持自動對焦。
- 最近對焦距離 ≤ 10cm（拍攝手機屏幕/文檔的關鍵）。
安全策略：
- baseUrl 默認拒絕內網地址（RFC1918、link-local 等），防止數據外泄。如需連接內網端點，需在配置中顯式開啓 "allowPrivateHosts": true。
- 工作區的 dsh-vision-config.json 可被會話修改，請僅在信任的目錄中使用。

結語¶

dsh-visibridge 通過結構化證據橋接了純文本模型與視覺能力。對於需要處理文檔、OCR 或視覺反饋的 Agent 開發，它提供了本地化、可配置的解決方案。

項目目錄：dsh-visibridge
源碼地址：GitHub