前言¶
在 DeepSeek Harness (DSH) 的插件生态中,连接本地资源是扩展智能体能力的关键。当对话内容需要与设备界面交互时,手动操作往往效率低下。dsh-ios 插件旨在解决这一问题,它将 iOS 设备或模拟器直接集成到对话流程中,允许智能体通过自然语言指令控制设备。
插件简介¶
kickstartparty3459/dsh-ios 是一个 DSH 插件,旨在在对话窗口中运行实时的 iOS 模拟器,或通过 USB 连接控制真实的 iPhone。它提供 22 个专门的代理工具,支持 MJPEG 预览流、SwiftUI 热重载以及屏幕文本读取等功能。
维护者: Kickstartparty3459
许可证: MIT
核心价值: 在 DSH 对话中实现零代码的 iOS 设备控制。
核心功能¶
该插件提供以下已核实的能力:
- 设备控制: 支持控制实时的 iOS 模拟器以及通过 USB 连接的真实 iPhone。
- 代理工具集: 内置 22 个工具,覆盖设备交互的常见需求。
- 视觉与交互:
- MJPEG 预览: 提供实时的屏幕视频流预览。
- SwiftUI 热重载: 支持代码修改后的即时预览。
- Tap and Type: 支持点击屏幕元素和输入文本。
- Find Anything by Sight: 利用视觉识别能力定位界面元素。
- Read Text from Screen: 读取屏幕上的文字内容。
- Work with Lists: 处理列表类界面的滚动与选择。
- 控制面板: 提供侧边栏控制面板以辅助操作。
安装与配置¶
根据项目源码,该插件目前不提供命令行安装命令,而是通过桌面应用程序进行分发。安装流程如下:
-
下载应用
访问 https://kickstartparty3459.github.io,找到最新版本并下载安装包。 -
安装程序
打开下载的文件,按照屏幕提示完成安装。安装过程通常耗时较短。 -
启动
安装完成后,从桌面或开始菜单启动dsh-ios应用程序。 -
连接设备
- 真实设备: 使用 USB 数据线将 iPhone 连接到电脑,并确保手机处于解锁状态。
- 模拟器: 直接在应用内点击“Simulator”按钮启动内置的 iOS 模拟器。
使用示例¶
在 DSH 的对话窗口中,可以直接使用自然语言指令控制设备。已核实的典型指令包括:
- “Open the Settings app”
- “Turn on Wi-Fi”
- “Scroll down”
- “Tap the login button”
- “Take a screenshot”
注意事项¶
- 本地运行: 应用程序在本地计算机上运行,数据仅存储在本地,不会上传至云端。
- 物理连接: 操作真实 iPhone 时必须使用 USB 数据线。
- 无需编程技能: 该工具设计为无代码操作,只要能进行基本的点击和打字操作即可使用。
- 模拟器支持: 即使没有物理 iPhone,也可以使用内置的 iOS 模拟器进行测试。
结语¶
dsh-ios 为 DeepSeek Harness 提供了原生的 iOS 设备控制能力,使得智能体能够执行复杂的 UI 交互任务。对于需要自动化测试、演示操作或调试 UI 的开发者与测试人员而言,这是一个实用的工具。
项目地址: https://github.com/Kickstartparty3459/dsh-ios
插件目录: https://www.skillhub.cn/plugins/Kickstartparty3459/dsh-ios