DeepSeek Harness（DSH）採用「一切皆插件」的架構。當智能體需要操作 Android 設備或驗證 UI 變更時，單純的文字描述無法確認結果。dsh-android-pane 插件爲 DSH 提供了一塊 Android 實時畫面面板，支持 USB 真機和模擬器，允許智能體與用戶直接進行屏幕操作與驗證。
插件簡介¶
該插件由 hoyyang 維護，採用 MIT 許可證。它將 scrcpy 的 H.264 流推送到 DSH 網頁端，並提供控件樹訪問能力，讓智能體不僅能「看」，還能「點」和「滑」。
核心功能¶
- 實時畫面：利用 scrcpy-server 進行 H.264 直推，網頁端使用 WebCodecs 硬解，幀率在 30–60fps 之間。若 scrcpy 無法啓動（老設備或安全系統攔截），會自動降級爲截圖輪播模式。
- agent 自驗證：內置 10 個上下文工具（點按、滑動、文本、按鍵、滾動、旋轉等），每次操作都會自動回傳截圖，結合 uiautomator 控件樹驗證實際改動。
- FLAG_SECURE 黑屏自愈：針對銀行、密碼管理等應用的黑屏問題，插件會自動識別並給出緩解鏈（如
adb root），若系統仍攔截，則降級爲可點按的控件樹文本視圖，每步結果明示。 - 人機共屏：面板支持點按和拖動操作。當 agent 正在操作時，面板會顯示紅色徽標，此時用戶的手勢會被拒絕，操作權歸屬清晰。
- 會話隔離：一臺設備同一時間只歸一個會話。閒置 10 分鐘（模擬器關機或真機斷開）自動釋放設備。
- 僅本機：所有視頻流僅允許 127.0.0.1 訪問，其他 IP 請求一律返回 403，防止外部訪問。
安裝與啓用¶
安裝過程零配置，不需要 API Key，也不需要修改 DSH 配置文件。但需要系統中有 adb 命令行工具（Android SDK）。
執行以下命令安裝：
dsh plugin add github:hoyyang/dsh-android-pane
安裝完成後，確保設備已開啓 USB 調試並連接電腦，或啓動任意模擬器。
典型用法¶
- 在 DSH 對話中向 agent 發送指令：「連接我的安卓設備」。
- DSH 網頁端會出現設備的實時畫面。
- 讓 agent 執行操作，例如：「點一下設置圖標」。它會自動進行點按並回傳截圖驗證。
- 你也可以直接在畫面上點按或拖動，實現人機共屏。
適用場景與注意¶
- 廠商限制：部分深度定製的廠商系統（如小米、OPPO 等）需要手動打開「USB 調試（安全設置）」，否則點擊功能可能失效，面板會自動降級爲只看模式。
- 安全與隱私：所有流僅本機訪問（127.0.0.1）。依賴的
scrcpy-server（Apache-2.0）和ADBKeyboard（Apache-2.0）均爲開源庫。注意，agent 對設備的截屏會發送給所配置的模型，請在受控設備上登錄測試賬號，避免隱私泄露。 - 資源佔用：若同時連接多臺設備，幀率可能會受帶寬影響。
該插件通過 scrcpy 技術解決了智能體操作 Android 設備時的視覺驗證難題，同時保障了安全性和隔離性。更多細節可參考 GitHub。
