前言¶
下面介绍 zfu691531-hash/dsh-gesture-mouse。这是 DeepSeek Harness (DSH) 的一个插件，用于通过摄像头手势控制 macOS 鼠标。它通过随包附带的 Swift Helper 在本地处理视觉识别和系统鼠标事件，而非将每一帧画面交给大模型。
核心功能¶
插件主要处理以下操作，均在本地完成：
1. 食指指向：控制相对光标移动。
2. 拇指与食指捏合：完成点击或按住拖拽。
3. 食指与中指：控制滚动。
4. 张掌离合：保持张掌可触发本地 panic（安全停止）。
5. 安全机制：每个特殊手势强制冷却、去重，并设有每分钟上限。
安装与配置¶
安装需先打包插件，再通过 DSH CLI 安装。
- 打包
npm pack
- 安装插件
dsh plugin --profile web add ./dsh-gesture-mouse-0.1.0.tgz
安装后重启 DeepSeek Harness。默认 autoStart: false，需手动启动。
- 配置项
DSH bundle 默认配置位于cordis.patch.yml。关键配置包括：
*autoStart：默认false。
*sensitivity：相对光标灵敏度。
*cameraFPS：目标采集帧率，默认 30。
*minimumConfidence：Vision 关节点最低置信度。
*routes：命名特殊手势，每条需显式enabled: true。
安全下限不可通过配置削弱：冷却至少 10 秒、去重至少 3 秒、每分钟最多 3 次。
使用步骤¶
-
启动与授权
调用gesture_start，根据系统提示批准 Camera 与 Accessibility 权限。 -
状态检查
调用gesture_status检查cameraAuthorized、postEventAuthorized、FPS 与推理延迟。 -
手势操作
伸出食指稳定约 200ms 后移动光标；张掌可冻结。 -
测试
调用gesture_test_trigger可在不打开摄像头的情况下测试特殊手势路由。 -
停止
调用gesture_stop释放摄像头。
要求与权限¶
- 系统要求：macOS 13 或更高版本；DeepSeek Harness / dsh CLI；Node.js 20 或更高版本。
- 构建要求：Xcode / Swift 6（从源码构建时需要）。
- 权限：
- Camera：读取摄像头帧，仅在内存中处理。
- Accessibility / PostEvent：通过 CoreGraphics 合成鼠标事件。
插件不请求 Screen Recording 和 Input Monitoring 权限。
限制与注意事项¶
- V0 基线：参数尚需真人真机标定，不建议将其作为唯一输入设备。
- DeepSeek 路由：在 V0 中仅生成安全计划，不自动启动模型会话，不执行
session.prompt。 - 环境因素：暗光、遮挡、摄像头角度和手型会影响 Vision 置信度。
- 单手支持：当前只处理一只手，不支持多手协作。
- 生命周期：V1 生命周期绑定 DSH，脱离 DSH 独立运行属于后续范围。
结语¶
该插件通过本地 Vision 模型与 CoreGraphics 实现手势控制，适合作为 DSH 生态中的辅助输入组件。更多细节请参考 GitHub 仓库。
