前言¶
在 DeepSeek Harness(DSH)的智能体开发中,处理网页内容通常依赖于 DOM 解析,但这无法覆盖页面上的视觉元素。dsh-browser-vision 插件为此提供了一个解决方案。它作为一个浏览器工具,允许智能体“看”到页面,而不仅仅是读取其结构。
插件定位¶
这是一个由 tristan-mcinnis 维护的联网工具插件。它通过驱动真实的 Chrome 浏览器(通过 Chrome DevTools Protocol, CDP)来执行任务,并利用视觉模型解析页面内容。
核心功能¶
该插件具备以下核心能力:
* 页面驱动:通过 CDP 驱动真实的 Chrome 浏览器进行操作。
* 视觉识别:能够读取 Canvas 上绘制的文本、图片内部的文字以及渲染的图表。
* 结构化提取:支持基于 Schema 的 JSON 字段提取,方便下游处理。
* 输出格式:支持 Markdown 输出。
* 成本统计:提供每运行任务的 Token 和成本统计。
安装与启用¶
下面介绍安装步骤。
- 添加插件:
在终端中运行以下命令,将插件添加到 DeepSeek Harness 的 web 配置文件中:
dsh plugin --profile web add "github:tristan-mcinnis/dsh-browser-vision"
- 安装引擎:
安装 Python 引擎(使用uv):
uv tool install "git+https://github.com/tristan-mcinnis/dsh-browser-vision"
(注:也可以使用 pip 或 pipx)
-
配置环境:
确保DEEPSEEK_API_KEY已在 shell 环境中设置。插件不会存储或转发密钥,仅继承运行环境。 -
重启配置文件:
重启 DSH 的 web 配置文件(该配置文件通常禁用了热重载)。 -
验证状态:
添加完成后,可以调用browser_vision_status工具来确认引擎是否可用。
典型用法¶
插件提供了三个主要工具:
browser_vision_task:使用自然语言运行网页任务。它会导航、点击、输入,并读取仅存在于像素中的内容。browser_vision_extract:根据传入的 Schema 提取页面字段,输出为 JSON。browser_vision_status:报告引擎安装状态,用于排查安装问题。
系统要求与注意事项¶
- Python 版本:需要 Python 3.11 或 3.12。
- 浏览器依赖:系统必须安装 Chrome 或 Chromium 二进制文件。注意,该插件不使用 Playwright,因此无需运行
playwright install。 - 视觉细节:在使用截图功能时,避免使用
detail: low参数,因为它会裁剪文本导致无法识别。
结语¶
dsh-browser-vision 为 DeepSeek Harness 提供了基础的视觉处理能力,使智能体能够处理 Canvas、图表等传统 DOM 解析无法触及的内容。对于需要处理复杂视觉信息的网页任务,这是一个实用的补充工具。
- 插件目录:https://www.skillhub.cn/plugins/tristan-mcinnis/dsh-browser-vision
- 项目主页:https://github.com/tristan-mcinnis/dsh-browser-vision