前言¶
在 DSH 的插件機制下，可以給智能體補充工具能力。常見需求有兩個：一是需要把本地截圖或圖片交給視覺模型理解；二是需要 agent 在 Android 應用中完成真實點擊、滑動、輸入和按鍵驗證。
dsh-vision-android 就是圍繞這兩個需求寫的 DeepSeek Harness 插件：一邊把本地圖片文件發給視覺模型提問，一邊通過 adb 執行 Android UI 操作。
這是什麼¶
dsh-vision-android 是一個 DeepSeek Harness 插件，定位是“多模態視覺 + Android UI 自動化”。
它提供 11 個工具，覆蓋圖片提問、截屏、屏幕理解、UI 層級抓取、真實點擊、滑動、文本輸入、按鍵、APK 安裝、應用啓動和屏幕尺寸查詢。項目許可證爲 MIT，GitHub 倉庫爲 https://github.com/superclaude1/dsh-vision-android 。
核心功能¶
下面按能力分組說明。
視覺理解¶
vision_ask：把本地圖片文件發給視覺模型提問。mobile_look：截屏並進行視覺理解，返回屏幕描述和可交互元素座標。mobile_screenshot：只截屏保存 PNG，並返回文件路徑。mobile_screen_size：獲取屏幕物理分辨率。
Android UI 自動化¶
mobile_dump：通過uiautomator抓取 UI 層級座標。mobile_tap：通過adb真實點擊指定座標。mobile_swipe：通過adb執行真實滑動手勢。mobile_text：輸入 ASCII 文本；空格會自動轉義。mobile_keyevent：發送back、home、enter、tab、esc、dpad_*等按鍵。mobile_install：使用adb install -r安裝 APK。mobile_launch：通過am start啓動組件，或使用monkey啓動包。
安裝與啓用¶
安裝進 web profile 的命令是：
dsh plugin --profile web add ./dsh-vision-android
啓用時，機器私密配置建議放在 $DSH_HOME/cordis.patch.yml，或放在 profile 自己的 patch 裏。
visionApiKey 推薦用環境變量，不要寫進配置；不要把 Key 寫進倉庫。
典型用法¶
一個可復現的模型對話示例是：
請打開詭祕之主這本書：先 mobile_look 看當前界面，找到這本書的座標，用 mobile_tap 點擊，再 mobile_look 確認進入了目錄頁。
執行順序可以理解爲：
1、調用 mobile_look 獲取當前界面描述和元素座標。
2、根據返回座標調用 mobile_tap 點擊。
3、再次調用 mobile_look 驗證是否進入目錄頁。
這樣形成“截圖 → 視覺理解 → 真實點擊 → 再截圖驗證”的閉環。
如果某個座標很關鍵，可以先用 mobile_dump 抓取 UI 層級座標，再和視覺返回的座標做交叉驗證。
適用場景與注意¶
適合兩類工作：需要讓智能體讀取截圖或圖片；需要在 Android 應用中做 UI 操作驗證。
使用前注意：
- 插件會以當前
dsh進程權限運行。安裝前建議先檢查源碼與許可證。 - 許可證爲 MIT。
mobile_text僅支持 ASCII；中文輸入需要設備 IME；空格已自動轉義爲%s。- 視覺座標是像素值；
mobile_dump的座標永遠精確，視覺座標偶有偏差，重要點擊前可先用mobile_dump校驗。 - 視覺模型可能把系統軟鍵盤等非應用 UI 誤讀爲應用元素；關鍵操作前用
mobile_dump交叉驗證。 visionApiKey推薦用環境變量，不要把 Key 寫進倉庫。
結尾¶
dsh-vision-android 的價值在於把“看屏幕”和“真實操作設備”接到 DSH 的智能體流程裏：先讓模型理解界面，再用 adb 執行操作，最後再次截圖驗證。
GitHub 倉庫：https://github.com/superclaude1/dsh-vision-android 。
社區目錄頁地址未在本次資料中提供，可按插件名 dsh-vision-android 在社區目錄中檢索。
