dsh-inner-browser-use:在 DSH 侧栏驱动 Agent 专属 Chrome

前言

在 DeepSeek Harness(DSH)里让智能体「看网页、点按钮、填表单」,常见做法是接外部浏览器自动化或只读抓取。页面若是强交互、要登录、或站点会拒绝脚本点击,往往要么看不到真实界面,要么会话一重启登录就丢。下面介绍的插件把一台 Agent 独占的 Chromium 镜像到聊天右侧栏:Agent 用工具读写与操作,你可以在画面上用真实鼠标键盘接管,登录态写在独立 profile 里,Harness 重启后仍可保留。

这是什么

dsh-inner-browser-use(目录分类:客户端)由 regrevia 维护,MIT 许可证。官方描述是:驱动 DeepSeek Harness 侧栏里的浏览器镜像——可见指针、真实点击与输入、上传下载,且站点登录可跨会话保留。

定位上,它不是产品自带的那个标签页浏览器,而是磁盘上独立 profile 的 Chrome/Chromium;右侧栏是这台浏览器的实时画面(JPEG 流),你的光标在画面上操作会作为真实键鼠事件送进浏览器,与 Agent 的黑色箭头指针并存。

核心功能

Agent 工具(sidecar_*)

插件向 Agent 暴露一组 sidecar 工具,README 中列出的主要能力如下。

工具 作用
sidecar_open 启动或复用浏览器并打开地址;headless: false 可在桌面显示真实窗口
sidecar_view 返回 URL、标题、可见控件编号(如 1 … 120)及可见文本
sidecar_extract 按 CSS 选择器提取匹配项,每行紧凑输出含链接
sidecar_click 点击编号控件或 x/y 坐标;double: true 双击;会先处理挡在控件上的 cookie 条/模态再点
sidecar_type 向焦点输入框打字,或先点编号控件;中文整串输入;submit: true 等同 Enter
sidecar_key 单键:Enter、Tab、Escape、Backspace、Delete、方向键、Home、End、PageUp/PageDown
sidecar_scroll 在页面中心或指定坐标滚轮;dy: 600 约等于一屏
sidecar_shot 全尺寸 PNG 保存到 ~/.dsh-inner-browser-use/screenshots 并返回路径
sidecar_state 报告浏览器是否运行、profile、地址标题、有多少侧栏在展示

资料还提到:sidecar_downloads 列出下载文件;sidecar_network 按时间列出页面请求;sidecar_do 可批量步骤。iframe 内控件同样编号可读可点;触发下载的文件落在浏览器 profile 目录内。

sidecar_view 返回的编号在下次读取前有效;任何会改变页面的操作之后应重新读取。

右侧栏镜像

侧栏通过会话自有流推送浏览器画面:1440×900、JPEG quality 72,资料测得静止页约 82 KB/帧、约 25 fps。

  • 黑色箭头:Agent 最后一次点击位置,新点击发出即移动,不等待重绘。
  • 你的光标:悬停、点击、滚轮、按键以真实输入进入浏览器,适合拒绝脚本点击的站点;移动鼠标不会改变黑色箭头。

栏上方有地址栏(可输入 URL、后退、前进、刷新);中文等 IME 组合文本整段插入,单键如 Backspace 按字符删除。侧栏仅在发起工具调用的会话中打开;其他会话可共用同一浏览器实例但不抢走他人正在看的栏。

登录与持久化

Profile 目录:~/.dsh/inner-browser-use/chrome/default,与产品内置浏览器存储分离(后者随进程结束而消失)。

  • 插件 reload:仍运行的 Chrome 会被接管,页面保持。
  • Harness 重启:同一目录再次打开,Cookie、localStorage、Chrome 保存的密码可保留。
  • 关闭:请求浏览器正常退出以便写入 Cookie;空闲 15 分钟关闭,有侧栏观看时计时暂停。

除 profile 外,插件另写截图目录:~/.dsh-inner-browser-use/screenshots/。

明确不做的能力

  • 不读写你日常使用的 Chrome 窗口。
  • 视口固定 1440×900,不支持改尺寸或移动设备仿真。
  • 同时只镜像一个页面;新标签会被跟进并关闭弹出层,不会出现多页选择。

安装与启用

环境要求(README Compatibility):DSH ≥ 0.2.0,Google Chrome / Chromium / Canary ≥ 112,Node ≥ 20。机器上需已安装 Chrome 或 Chromium,细节见仓库 docs/COMPATIBILITY.md。

从源码目录安装(命令摘自官方 README):

git clone https://github.com/regrevia/dsh-inner-browser-use
dsh plugin install /path/to/dsh-inner-browser-use

或在应用内:Plugins → Install from folder,选择 clone 后的目录。

若安装打包产物,在 clone 目录执行:

npm pack                                  # writes dsh-inner-browser-use-0.16.0.tgz
dsh plugin install ./dsh-inner-browser-use-0.16.0.tgz

(npm pack 生成的文件名随 package 版本变化;README 示例为 dsh-inner-browser-use-0.16.0.tgz。)

安装后在 Plugins 中显示为 Background browser。

插件以当前 DSH 进程的权限运行,安装前请自行审阅源码与 MIT 许可证,确认可接受其访问网络、读写 profile 与截图目录等行为。

典型用法

官方 Use 节步骤可复现如下。

  1. 打开希望 Agent 代为浏览的会话。
  2. 用自然语言提出需求,例如:open example.com and tell me the title。

第一次调用 sidecar 相关工具时会启动浏览器,并在该会话右侧出现镜像;从未发起过页面请求的会话不会因此改变侧栏。

开发自测可运行:

node --test test/*.test.mjs

适用场景与注意

适合需要在 DSH 内完成「可见、可交接、可登录」的网页任务:表单、需要真实点击的策略、跨天保留登录的后台操作等。与纯 headless 抓取相比,侧栏让人工可随时接管;与共用个人浏览器相比,profile 隔离降低误触个人数据的风险。

注意视口与单页限制;cookie/支付/登出类 overlay 不会被自动点掉,工具会报告而非代为确认。社区目录 SkillHub 插件页 与 GitHub 仓库独立维护,与 DeepSeek / 幻方无官方从属关系;DSH 生态本身是「一切皆插件」,本文事实以仓库 README 为准。

结尾

dsh-inner-browser-use 把 Agent 专用的 Chromium 镜像进 Harness 右栏,工具链覆盖打开、读页、点按、输入、滚动与截图,并支持下载与网络观测;登录写在 ~/.dsh/inner-browser-use/chrome/default,便于长会话任务。进一步了解请查看 SkillHub 目录页 与 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye