前言¶
在 DeepSeek Harness(DSH)里让智能体「看网页、点按钮、填表单」,常见做法是接外部浏览器自动化或只读抓取。页面若是强交互、要登录、或站点会拒绝脚本点击,往往要么看不到真实界面,要么会话一重启登录就丢。下面介绍的插件把一台 Agent 独占的 Chromium 镜像到聊天右侧栏:Agent 用工具读写与操作,你可以在画面上用真实鼠标键盘接管,登录态写在独立 profile 里,Harness 重启后仍可保留。
这是什么¶
dsh-inner-browser-use(目录分类:客户端)由 regrevia 维护,MIT 许可证。官方描述是:驱动 DeepSeek Harness 侧栏里的浏览器镜像——可见指针、真实点击与输入、上传下载,且站点登录可跨会话保留。
定位上,它不是产品自带的那个标签页浏览器,而是磁盘上独立 profile 的 Chrome/Chromium;右侧栏是这台浏览器的实时画面(JPEG 流),你的光标在画面上操作会作为真实键鼠事件送进浏览器,与 Agent 的黑色箭头指针并存。
核心功能¶
Agent 工具(sidecar_*)¶
插件向 Agent 暴露一组 sidecar 工具,README 中列出的主要能力如下。
| 工具 | 作用 |
|---|---|
sidecar_open |
启动或复用浏览器并打开地址;headless: false 可在桌面显示真实窗口 |
sidecar_view |
返回 URL、标题、可见控件编号(如 1 … 120)及可见文本 |
sidecar_extract |
按 CSS 选择器提取匹配项,每行紧凑输出含链接 |
sidecar_click |
点击编号控件或 x/y 坐标;double: true 双击;会先处理挡在控件上的 cookie 条/模态再点 |
sidecar_type |
向焦点输入框打字,或先点编号控件;中文整串输入;submit: true 等同 Enter |
sidecar_key |
单键:Enter、Tab、Escape、Backspace、Delete、方向键、Home、End、PageUp/PageDown |
sidecar_scroll |
在页面中心或指定坐标滚轮;dy: 600 约等于一屏 |
sidecar_shot |
全尺寸 PNG 保存到 ~/.dsh-inner-browser-use/screenshots 并返回路径 |
sidecar_state |
报告浏览器是否运行、profile、地址标题、有多少侧栏在展示 |
资料还提到:sidecar_downloads 列出下载文件;sidecar_network 按时间列出页面请求;sidecar_do 可批量步骤。iframe 内控件同样编号可读可点;触发下载的文件落在浏览器 profile 目录内。
sidecar_view 返回的编号在下次读取前有效;任何会改变页面的操作之后应重新读取。
右侧栏镜像¶
侧栏通过会话自有流推送浏览器画面:1440×900、JPEG quality 72,资料测得静止页约 82 KB/帧、约 25 fps。
- 黑色箭头:Agent 最后一次点击位置,新点击发出即移动,不等待重绘。
- 你的光标:悬停、点击、滚轮、按键以真实输入进入浏览器,适合拒绝脚本点击的站点;移动鼠标不会改变黑色箭头。
栏上方有地址栏(可输入 URL、后退、前进、刷新);中文等 IME 组合文本整段插入,单键如 Backspace 按字符删除。侧栏仅在发起工具调用的会话中打开;其他会话可共用同一浏览器实例但不抢走他人正在看的栏。
登录与持久化¶
Profile 目录:~/.dsh/inner-browser-use/chrome/default,与产品内置浏览器存储分离(后者随进程结束而消失)。
- 插件 reload:仍运行的 Chrome 会被接管,页面保持。
- Harness 重启:同一目录再次打开,Cookie、
localStorage、Chrome 保存的密码可保留。 - 关闭:请求浏览器正常退出以便写入 Cookie;空闲 15 分钟关闭,有侧栏观看时计时暂停。
除 profile 外,插件另写截图目录:~/.dsh-inner-browser-use/screenshots/。
明确不做的能力¶
- 不读写你日常使用的 Chrome 窗口。
- 视口固定 1440×900,不支持改尺寸或移动设备仿真。
- 同时只镜像一个页面;新标签会被跟进并关闭弹出层,不会出现多页选择。
安装与启用¶
环境要求(README Compatibility):DSH ≥ 0.2.0,Google Chrome / Chromium / Canary ≥ 112,Node ≥ 20。机器上需已安装 Chrome 或 Chromium,细节见仓库 docs/COMPATIBILITY.md。
从源码目录安装(命令摘自官方 README):
git clone https://github.com/regrevia/dsh-inner-browser-use
dsh plugin install /path/to/dsh-inner-browser-use
或在应用内:Plugins → Install from folder,选择 clone 后的目录。
若安装打包产物,在 clone 目录执行:
npm pack # writes dsh-inner-browser-use-0.16.0.tgz
dsh plugin install ./dsh-inner-browser-use-0.16.0.tgz
(npm pack 生成的文件名随 package 版本变化;README 示例为 dsh-inner-browser-use-0.16.0.tgz。)
安装后在 Plugins 中显示为 Background browser。
插件以当前 DSH 进程的权限运行,安装前请自行审阅源码与 MIT 许可证,确认可接受其访问网络、读写 profile 与截图目录等行为。
典型用法¶
官方 Use 节步骤可复现如下。
- 打开希望 Agent 代为浏览的会话。
- 用自然语言提出需求,例如:open example.com and tell me the title。
第一次调用 sidecar 相关工具时会启动浏览器,并在该会话右侧出现镜像;从未发起过页面请求的会话不会因此改变侧栏。
开发自测可运行:
node --test test/*.test.mjs
适用场景与注意¶
适合需要在 DSH 内完成「可见、可交接、可登录」的网页任务:表单、需要真实点击的策略、跨天保留登录的后台操作等。与纯 headless 抓取相比,侧栏让人工可随时接管;与共用个人浏览器相比,profile 隔离降低误触个人数据的风险。
注意视口与单页限制;cookie/支付/登出类 overlay 不会被自动点掉,工具会报告而非代为确认。社区目录 SkillHub 插件页 与 GitHub 仓库独立维护,与 DeepSeek / 幻方无官方从属关系;DSH 生态本身是「一切皆插件」,本文事实以仓库 README 为准。
结尾¶
dsh-inner-browser-use 把 Agent 专用的 Chromium 镜像进 Harness 右栏,工具链覆盖打开、读页、点按、输入、滚动与截图,并支持下载与网络观测;登录写在 ~/.dsh/inner-browser-use/chrome/default,便于长会话任务。进一步了解请查看 SkillHub 目录页 与 GitHub 仓库。