DeepSeek Harness 宿主级视觉插件：dsh-visibridge

前言¶

DeepSeek Harness (DSH) 采用宿主级插件架构来扩展功能。纯文本模型（如 DeepSeek V4）无法直接处理图像，容易凭空猜测图片内容。dsh-visibridge 是一个宿主级视觉插件，提供 analyze_image 和 capture_image 两个工具。它将图片发送给配置的视觉模型（本地 Ollama 或云端 API），返回结构化 JSON 证据（包括 OCR 全文、版面分析、实体识别等），让纯文本模型基于这些证据进行推理，而非猜测。

核心功能¶

该插件主要解决纯文本模型与视觉能力的断层问题，提供以下能力：

图片识别：支持本地文件路径、HTTP(S) URL。
结构化证据：返回 summary（总结）、ocr（全文+逐行）、layout（版面）、semantics（场景+实体）等结构化数据。
多后端支持：内置预设后端，支持一行切换。
- ollama：本地处理，图片不出本机。
- xiaomi：小米 MiMo 云端。
- deepseek：DeepSeek 官方视觉模型。
- custom：任意 OpenAI 兼容端点。
密钥安全：错误日志中的 API Key 会自动脱敏为 [REDACTED]。

安装¶

插件已发布到 npm，推荐使用官方命令安装。

dsh plugin --profile web add dsh-visibridge

该命令会自动将插件加载进 profile 的 bundles 列表，重启 dsh 后生效。

配置¶

插件支持通过配置文件指定后端和模型。配置优先级为：插件默认值 → cordis.yml 配置 → 工作区 dsh-vision-config.json。

1. 工作区配置文件¶

在工作区根目录创建 dsh-vision-config.json：

{
  "backend": "ollama",
  "model": "minicpm-v4.5",
  "timeoutMs": 300000
}

2. 后端预设¶

backend 字段决定默认配置：

ollama：本地端点，模型推荐 minicpm-v4.5。
xiaomi：云端端点，需配置 API Key。
deepseek：官方视觉模型。

3. 凭据配置¶

在 ~/.dsh/.credentials.yaml 中配置云端 API Key：

XIAOMI_MIMO_API_KEY: sk-xxxxxxxx

使用¶

安装并重启 dsh 后，工具会自动注册。

图片分析¶

将图片放入会话工作区。
对 AI 发送指令，例如 看下这张图 或 分析 xxx.png。
AI 调用 analyze_image 工具，基于结构化证据进行回答。

摄像头拍摄识别¶

连接 USB 摄像头后，AI 可自主调用 capture_image 工具。例如对 AI 说：
* “拍一张看下手机屏幕”
* “看看现在屏幕显示什么错误”

AI 会自动拍照、识别并返回结构化证据。截图保存在工作区 .captures/ 目录下。

硬件与注意事项¶

环境要求：
- Node.js >= 22。
- 若使用 Ollama，需安装对应视觉模型。
摄像头要求（仅 capture_image 使用）：
- USB 接口（UVC 免驱）。
- 支持自动对焦。
- 最近对焦距离 ≤ 10cm（拍摄手机屏幕/文档的关键）。
安全策略：
- baseUrl 默认拒绝内网地址（RFC1918、link-local 等），防止数据外泄。如需连接内网端点，需在配置中显式开启 "allowPrivateHosts": true。
- 工作区的 dsh-vision-config.json 可被会话修改，请仅在信任的目录中使用。

结语¶

dsh-visibridge 通过结构化证据桥接了纯文本模型与视觉能力。对于需要处理文档、OCR 或视觉反馈的 Agent 开发，它提供了本地化、可配置的解决方案。

项目目录：dsh-visibridge
源码地址：GitHub