前言¶

自动化一个桌面软件，通常有两条路：目标软件提供 API 或 CLI，就写脚本调用；网页类目标可以用 Playwright、CDP 直接操作 DOM。但实际工作中有一类目标夹在中间——微信、风控严格的网页、手机模拟器、游戏，它们没有可用的 API，元素可能是隐藏按钮、游戏画面甚至验证码，Playwright 和 CLI 都覆盖不到。

下面介绍的 Skill「睇虾screenclaw」换了一条思路：不依赖目标软件的任何接口，直接像人一样「看屏幕」操作。

这是什么¶

睇虾screenclaw 是一个社区来源（community）的 Skill，坐标 @user_3fbc1884/screenclaw，当前版本 0.1.8，分类 office-efficiency。它用「截图 + 坐标网格」的方式操作任意桌面软件：截一张带网格的图，让任意多模态大模型读出目标位置的坐标数字，再调用点击、输入、按键等 API，模拟人类的视觉化操作。

核心卖点是：不依赖目标软件提供 API 或 CLI，只要程序能在屏幕上看到、能用鼠标键盘操作，就可以尝试自动化。此外，它能录制一次操作并沉淀成可复用的场景模板，下次直接复用。

需要说明的是，该 Skill 标记了 requires_api_key=true，即需要配置 API Key，因为它要调用多模态大模型来识别坐标。

核心功能¶

1、截带网格的图。对当前屏幕截图并叠加坐标网格，为模型识别目标位置提供参照系。

2、让多模态大模型读坐标。模型根据网格图输出目标元素的坐标数字，这一步替代了传统自动化中对 DOM 或控件句柄的依赖。

3、调用鼠标键盘 API。拿到坐标后，调用点击、输入、按键等 API 执行操作，模拟人类操作软件的行为。

4、录制并沉淀场景模板。录制一次完整操作后，可以沉淀成可复用的场景模板，下次直接复用，不必重新识别。

安装与启用¶

官方资料中未给出具体的安装命令和配置字段明细，本次抓取官方页面时也无法访问，因此这里不列出未经核实的命令。已知信息如下：

• 官方地址：https://api.skillhub.cn/user_3fbc1884/screenclaw
• SkillHub 页面：https://www.skillhub.cn/skills/user_3fbc1884/screenclaw
• 坐标：@user_3fbc1884/screenclaw
• 需要配置 API Key（多模态大模型服务的密钥）

安装与启用方式建议以官方页面当时的说明为准。

典型用法¶

官方简介里给出的典型流程可以概括为三步：

1、截一张带网格的屏幕截图；
2、由多模态大模型读出目标元素在网格中的坐标；
3、调用点击 / 输入 / 按键 API 完成操作，或先录制一次操作沉淀成模板，之后复用模板直接执行。

官方资料中给出的使用时机包括：

• 自动化操作 Windows 桌面软件（微信、风控严格的网页如小红书、抖音、手机模拟器、游戏、任意 Windows 程序），尤其是 Playwright、CDP、CLI、应用 API 无法覆盖的软件或元素，如隐藏按钮、游戏画面、验证码等；
• 用户提出「帮我操作 / 点 / 输入 XX」「自动操作 XX」「模拟点击」「桌面自动化」「RPA」「录制操作」「沉淀成模板」「下次自动跑」等需求时；
• 操作桌面元素或跨进程跨窗口的场景，如桌面图标、任务栏、托盘、开始菜单、文件选择框、跨窗口拖拽。

适用场景与注意¶

适合谁：需要在 Windows 上自动化那些没有 API、没有专用技能、自动化方式不确定的桌面程序的开发者。只要目标是能在屏幕上看到、需要鼠标键盘操作的 Windows 桌面程序，即使不确定怎么自动化，官方建议优先用本技能尝试。

注意事项：

1、依赖 API Key。该 Skill 需要配置多模态大模型的 API Key 才能工作，密钥管理和调用成本需要自行评估。
2、识别准确率取决于模型。坐标由多模态大模型从截图中读出，目标元素小、画面变化快或存在相似元素时，识别可能有误差，建议配合场景模板固定常用操作。
3、截图涉及屏幕内容，自动化他人系统或受控环境前需确认合规性。
4、数据口径提示：本任务给出的亮点（评分 99713、下载 308 次）与抓取到的 SkillHub 数据（评分 100000、下载 977、安装 0）不一致，以抓取到的 SkillHub 数据为准。该 Skill 为社区来源、安装数为 0，采用前建议先阅读官方页面说明并自行验证。

结尾¶

睇虾screenclaw 的价值在于把「看屏幕」这一人类本能变成了自动化手段：目标软件有没有 API 不再重要，截带网格的图、让多模态大模型读坐标、调 API 执行，三步即可操作任意 Windows 桌面程序，录一遍还能沉淀成模板反复使用。

官方地址：https://api.skillhub.cn/user_3fbc1884/screenclaw