前言¶
DeepSeek Harness（DSH）通過插件把工具暴露給模型，但默認進程既聽不到系統播放的內容，也看不到屏幕，更無法在 Windows 桌面上替用戶點按。若要在工作流裏做「聽到一句話再決策」「截屏給模型看」「配合 RPG Maker 類遊戲讀狀態並按鍵」，通常要自行接 WASAPI、Whisper、截屏與本地橋接服務，和 DSH 的 Cordis 配置也要對齊。
下面介紹社區插件 dsh-dsgirl（維護者 xiazhiyehuo），在 Windows 上爲 Harness 增加本地語音轉寫、截屏與可選的遊戲橋接操作，純 CPU 運行，不依賴顯卡。插件歸類爲「工作流」，可在 SkillHub 目錄頁 查看條目；社區目錄爲獨立站點，與 DeepSeek / 幻方無官方從屬關係。
這是什麼¶
dsh-dsgirl 的定位是：給 DeepSeek Harness 裝上耳朵、眼睛和手——聽見系統在放什麼聲音、看見屏幕、並在配合遊戲橋接時在電腦上替玩家按鍵。音頻採集走 WASAPI，僅支持 Windows（package.json 中 os 爲 win32）。許可證爲 MIT，當前包版本 0.1.0，要求 Node.js >= 20。
核心功能¶
插件通過 Cordis 向模型注入一組工具（inject: [tools]）。README 中列出的能力如下。
| 工具 | 作用 |
|---|---|
hear |
截取最近 N 秒聲音轉成文字，並判斷「人說話 / 音樂 / 環境音 / 靜音」，附帶響度、BPM |
mic_status |
麥克風自檢：默認設備、是否靜音、音量、是否被別的軟件佔用 |
see |
截屏作爲圖片送進模型視野，可選座標網格疊加 |
game_state |
讀遊戲狀態：場景、地圖、座標、血量、金幣、當前對話 |
game_press |
替玩家按鍵：確認 / 取消 / 菜單 / 方向鍵 |
game_move |
讓角色走幾步，返回實際移動格數 |
game_* 需要遊戲側配合：把倉庫中的 gamebridge/GameBridge.js 放進遊戲的 js/plugins/，在 js/plugins.js 註冊一行。遊戲啓動後會在 127.0.0.1:7311 開一個本地接口。
hear 成功時返回結構示例（節選）：
{
"ok": true, "source": "ring(5s)", "duration": 5.0,
"text": "聽得清楚嗎", "lang": "zh",
"sonic": { "loudness_db": -30.6, "bpm": 80.0, "sounds_like": "人聲/對白" }
}
README 說明：迴環採集只對系統正在播放的聲音生效；單個音頻文件需用 source: file。識別依賴 faster-whisper，不是「真聽覺」——聲音被翻譯成文字，旋律和情緒主要靠特徵數值描述。
安裝與啓用¶
1. 安裝 DSH 插件¶
官方命令（web profile）：
dsh plugin --profile web add github:xiazhiyehuo/dsh-dsgirl
也可手工：在 profile 的 package.json 裏 dependencies 增加 "dsh-dsgirl": "link:<倉庫路徑>"，dsh.profile.bundles 增加 "dsh-dsgirl"，然後執行 pnpm install。
2. Python 依賴與 Whisper 模型¶
雙擊倉庫內 scripts/setup.bat，或手動執行：
python -m pip install numpy sounddevice soundcard faster-whisper scipy
python python/download_model.py --size base
模型約 145MB（faster-whisper-base），不進倉庫，首次由腳本下載。國內網絡可在下載腳本中加 --mirror https://hf-mirror.com。
依賴要求：Windows + Python 3.10+。README 稱在 20 核 CPU 上 5 秒音頻約 1.5 秒轉完。
3. 配置 Cordis¶
在 cordis.yml 的插件行中啓用並可選指定 Python 路徑：
- id: dsh-dsgirl
name: 'dsh-dsgirl'
inject: [tools]
config:
python: 'C:/Path/To/python.exe' # 留空用 PATH 裏的 python
toolsDir: '' # 留空用倉庫內 python/
環境變量：DSGIRL_MODEL_DIR 指定模型目錄，DSGIRL_OUT_DIR 指定錄音存檔目錄。
4. 重啓 DSH¶
完成上述步驟後重啓 DSH，工具應出現在 Harness 可用工具列表中。
兩種聽法¶
- ring（推薦）：常駐
python/ring.py，一直錄最近 30 秒，hear往回取，不易漏掉句子開頭。 - fresh：現場錄 N 秒，實現簡單，但啓動慢半拍，頭一兩個字容易丟。
典型用法與注意¶
適用對象主要是 Windows 上的 DSH 智能體開發者：需要系統播放聲轉寫、麥克風自檢、截屏進模型，或與 RPG Maker 類遊戲通過本地 7311 端口橋接時。
使用前請注意：
- 插件以當前 dsh 進程權限 運行，安裝前應自行查看 GitHub 源碼 與 MIT 許可證，確認可接受的行爲範圍（截屏、錄音、按鍵等）。
- BGM 與人聲混在一起時識別率會明顯下降；口音重、語速快、專業詞可能出錯。默認
base模型中文日常對話夠用；要更準可換python/download_model.py --size small（約 483MB，README 稱慢約三倍）。 - 僅 Windows；Linux / macOS 不在
package.json支持範圍內。
結尾¶
dsh-dsgirl 把本地 Whisper 轉寫、WASAPI 環回、截屏與可選遊戲橋接收成一組 DSH 工具，適合在 Windows 工作流裏擴展「能聽、能看、能動」。條目與說明以倉庫 README 爲準。
- 目錄頁：https://www.skillhub.cn/plugins/xiazhiyehuo/dsh-dsgirl
- GitHub：https://github.com/xiazhiyehuo/dsh-dsgirl
