dsh-gesture-mouse: macOS 攝像頭手勢鼠標插件

前言¶

下面介紹 zfu691531-hash/dsh-gesture-mouse。這是 DeepSeek Harness (DSH) 的一個插件，用於通過攝像頭手勢控制 macOS 鼠標。它通過隨包附帶的 Swift Helper 在本地處理視覺識別和系統鼠標事件，而非將每一幀畫面交給大模型。

核心功能¶

插件主要處理以下操作，均在本地完成：
1. 食指指向：控制相對光標移動。
2. 拇指與食指捏合：完成點擊或按住拖拽。
3. 食指與中指：控制滾動。
4. 張掌離合：保持張掌可觸發本地 panic（安全停止）。
5. 安全機制：每個特殊手勢強制冷卻、去重，並設有每分鐘上限。

安裝與配置¶

安裝需先打包插件，再通過 DSH CLI 安裝。

打包

npm pack

安裝插件

dsh plugin --profile web add ./dsh-gesture-mouse-0.1.0.tgz

安裝後重啓 DeepSeek Harness。默認 autoStart: false，需手動啓動。

配置項
DSH bundle 默認配置位於 cordis.patch.yml。關鍵配置包括：
* autoStart：默認 false。
* sensitivity：相對光標靈敏度。
* cameraFPS：目標採集幀率，默認 30。
* minimumConfidence：Vision 關節點最低置信度。
* routes：命名特殊手勢，每條需顯式 enabled: true。

安全下限不可通過配置削弱：冷卻至少 10 秒、去重至少 3 秒、每分鐘最多 3 次。

使用步驟¶

啓動與授權
調用 gesture_start，根據系統提示批准 Camera 與 Accessibility 權限。
狀態檢查
調用 gesture_status 檢查 cameraAuthorized、postEventAuthorized、FPS 與推理延遲。
手勢操作
伸出食指穩定約 200ms 後移動光標；張掌可凍結。
測試
調用 gesture_test_trigger 可在不打開攝像頭的情況下測試特殊手勢路由。
停止
調用 gesture_stop 釋放攝像頭。

要求與權限¶

系統要求：macOS 13 或更高版本；DeepSeek Harness / dsh CLI；Node.js 20 或更高版本。
構建要求：Xcode / Swift 6（從源碼構建時需要）。
權限：
- Camera：讀取攝像頭幀，僅在內存中處理。
- Accessibility / PostEvent：通過 CoreGraphics 合成鼠標事件。

插件不請求 Screen Recording 和 Input Monitoring 權限。

限制與注意事項¶

V0 基線：參數尚需真人真機標定，不建議將其作爲唯一輸入設備。
DeepSeek 路由：在 V0 中僅生成安全計劃，不自動啓動模型會話，不執行 session.prompt。
環境因素：暗光、遮擋、攝像頭角度和手型會影響 Vision 置信度。
單手支持：當前只處理一隻手，不支持多手協作。
生命週期：V1 生命週期綁定 DSH，脫離 DSH 獨立運行屬於後續範圍。

結語¶

該插件通過本地 Vision 模型與 CoreGraphics 實現手勢控制，適合作爲 DSH 生態中的輔助輸入組件。更多細節請參考 GitHub 倉庫。