前言¶
在 DeepSeek Harness (DSH) 的插件生態中，連接本地資源是擴展智能體能力的關鍵。當對話內容需要與設備界面交互時，手動操作往往效率低下。dsh-ios 插件旨在解決這一問題，它將 iOS 設備或模擬器直接集成到對話流程中，允許智能體通過自然語言指令控制設備。
插件簡介¶
kickstartparty3459/dsh-ios 是一個 DSH 插件，旨在在對話窗口中運行實時的 iOS 模擬器，或通過 USB 連接控制真實的 iPhone。它提供 22 個專門的代理工具，支持 MJPEG 預覽流、SwiftUI 熱重載以及屏幕文本讀取等功能。
維護者： Kickstartparty3459
許可證： MIT
核心價值： 在 DSH 對話中實現零代碼的 iOS 設備控制。
核心功能¶
該插件提供以下已覈實的能力：
- 設備控制： 支持控制實時的 iOS 模擬器以及通過 USB 連接的真實 iPhone。
- 代理工具集： 內置 22 個工具，覆蓋設備交互的常見需求。
- 視覺與交互：
- MJPEG 預覽： 提供實時的屏幕視頻流預覽。
- SwiftUI 熱重載： 支持代碼修改後的即時預覽。
- Tap and Type： 支持點擊屏幕元素和輸入文本。
- Find Anything by Sight： 利用視覺識別能力定位界面元素。
- Read Text from Screen： 讀取屏幕上的文字內容。
- Work with Lists： 處理列表類界面的滾動與選擇。
- 控制面板： 提供側邊欄控制面板以輔助操作。
安裝與配置¶
根據項目源碼，該插件目前不提供命令行安裝命令，而是通過桌面應用程序進行分發。安裝流程如下：
-
下載應用
訪問 https://kickstartparty3459.github.io，找到最新版本並下載安裝包。 -
安裝程序
打開下載的文件，按照屏幕提示完成安裝。安裝過程通常耗時較短。 -
啓動
安裝完成後，從桌面或開始菜單啓動dsh-ios應用程序。 -
連接設備
- 真實設備： 使用 USB 數據線將 iPhone 連接到電腦，並確保手機處於解鎖狀態。
- 模擬器： 直接在應用內點擊“Simulator”按鈕啓動內置的 iOS 模擬器。
使用示例¶
在 DSH 的對話窗口中，可以直接使用自然語言指令控制設備。已覈實的典型指令包括：
- “Open the Settings app”
- “Turn on Wi-Fi”
- “Scroll down”
- “Tap the login button”
- “Take a screenshot”
注意事項¶
- 本地運行： 應用程序在本地計算機上運行，數據僅存儲在本地，不會上傳至雲端。
- 物理連接： 操作真實 iPhone 時必須使用 USB 數據線。
- 無需編程技能： 該工具設計爲無代碼操作，只要能進行基本的點擊和打字操作即可使用。
- 模擬器支持： 即使沒有物理 iPhone，也可以使用內置的 iOS 模擬器進行測試。
結語¶
dsh-ios 爲 DeepSeek Harness 提供了原生的 iOS 設備控制能力，使得智能體能夠執行復雜的 UI 交互任務。對於需要自動化測試、演示操作或調試 UI 的開發者與測試人員而言，這是一個實用的工具。
項目地址： https://github.com/Kickstartparty3459/dsh-ios
插件目錄： https://www.skillhub.cn/plugins/Kickstartparty3459/dsh-ios
