前言¶
在 DSH 的插件机制下，可以给智能体补充工具能力。常见需求有两个：一是需要把本地截图或图片交给视觉模型理解；二是需要 agent 在 Android 应用中完成真实点击、滑动、输入和按键验证。
dsh-vision-android 就是围绕这两个需求写的 DeepSeek Harness 插件：一边把本地图片文件发给视觉模型提问，一边通过 adb 执行 Android UI 操作。
这是什么¶
dsh-vision-android 是一个 DeepSeek Harness 插件，定位是“多模态视觉 + Android UI 自动化”。
它提供 11 个工具，覆盖图片提问、截屏、屏幕理解、UI 层级抓取、真实点击、滑动、文本输入、按键、APK 安装、应用启动和屏幕尺寸查询。项目许可证为 MIT，GitHub 仓库为 https://github.com/superclaude1/dsh-vision-android 。
核心功能¶
下面按能力分组说明。
视觉理解¶
vision_ask：把本地图片文件发给视觉模型提问。mobile_look：截屏并进行视觉理解，返回屏幕描述和可交互元素坐标。mobile_screenshot：只截屏保存 PNG，并返回文件路径。mobile_screen_size：获取屏幕物理分辨率。
Android UI 自动化¶
mobile_dump：通过uiautomator抓取 UI 层级坐标。mobile_tap：通过adb真实点击指定坐标。mobile_swipe：通过adb执行真实滑动手势。mobile_text：输入 ASCII 文本；空格会自动转义。mobile_keyevent：发送back、home、enter、tab、esc、dpad_*等按键。mobile_install：使用adb install -r安装 APK。mobile_launch：通过am start启动组件，或使用monkey启动包。
安装与启用¶
安装进 web profile 的命令是：
dsh plugin --profile web add ./dsh-vision-android
启用时，机器私密配置建议放在 $DSH_HOME/cordis.patch.yml，或放在 profile 自己的 patch 里。
visionApiKey 推荐用环境变量，不要写进配置；不要把 Key 写进仓库。
典型用法¶
一个可复现的模型对话示例是：
请打开诡秘之主这本书：先 mobile_look 看当前界面，找到这本书的坐标，用 mobile_tap 点击，再 mobile_look 确认进入了目录页。
执行顺序可以理解为：
1、调用 mobile_look 获取当前界面描述和元素坐标。
2、根据返回坐标调用 mobile_tap 点击。
3、再次调用 mobile_look 验证是否进入目录页。
这样形成“截图 → 视觉理解 → 真实点击 → 再截图验证”的闭环。
如果某个坐标很关键，可以先用 mobile_dump 抓取 UI 层级坐标，再和视觉返回的坐标做交叉验证。
适用场景与注意¶
适合两类工作：需要让智能体读取截图或图片；需要在 Android 应用中做 UI 操作验证。
使用前注意：
- 插件会以当前
dsh进程权限运行。安装前建议先检查源码与许可证。 - 许可证为 MIT。
mobile_text仅支持 ASCII；中文输入需要设备 IME；空格已自动转义为%s。- 视觉坐标是像素值；
mobile_dump的坐标永远精确，视觉坐标偶有偏差，重要点击前可先用mobile_dump校验。 - 视觉模型可能把系统软键盘等非应用 UI 误读为应用元素；关键操作前用
mobile_dump交叉验证。 visionApiKey推荐用环境变量，不要把 Key 写进仓库。
结尾¶
dsh-vision-android 的价值在于把“看屏幕”和“真实操作设备”接到 DSH 的智能体流程里：先让模型理解界面，再用 adb 执行操作，最后再次截图验证。
GitHub 仓库：https://github.com/superclaude1/dsh-vision-android 。
社区目录页地址未在本次资料中提供，可按插件名 dsh-vision-android 在社区目录中检索。
