在 WSL2 環境下部署本地大模型推理時,顯卡資源的可見性和顯存佔用情況往往是排查問題的核心。當同時開啓 Ollama、llama-server 或 vLLM 時,顯存衝突(OOM)風險較高。DeepSeek Harness (DSH) 的 dsh-wsl-gpu 插件旨在解決這一場景下的 GPU 狀態監控與端口衝突探測問題。
插件定位¶
dsh-wsl-gpu 是一個 DeepSeek Harness 插件,隸屬於 dsh-wsl-kit 工具集。它通過解析 nvidia-smi 輸出,提供 GPU 的詳細狀態、Blackwell 架構提示以及推理端口的佔用情況,幫助開發者在本地推理環境中快速定位資源瓶頸。
核心功能¶
該插件提供以下具體能力:
- GPU 狀態解析:提取 GPU 名稱、驅動版本、顯存使用量與總量、GPU 利用率及計算能力。
- 新架構提示:針對 Blackwell / RTX 50 系列(
sm_120)以及 CUDA 12.8+/13.x 環境提供特定提示。 - 端口掃描:自動掃描常見的推理服務端口(
11434、1234、8000、8080),判斷端口占用情況。 - 故障指引:提供指向
host_reach和docker_doctor focus=vllm的指針,輔助後續排查。
安裝與啓用¶
可以通過以下兩種方式安裝該插件。
方式一:通過 Kit 安裝(推薦)
使用 dsh-wsl-kit 的安裝腳本,指定 KIT_SET=llm 以包含此插件:
curl -fsSL https://raw.githubusercontent.com/173787247/dsh-wsl-kit/master/install.sh | KIT_SET=llm bash
方式二:通過 DSH 插件管理器
直接使用 DSH 插件命令添加:
dsh plugin --profile web add github:173787247/dsh-wsl-gpu
典型用法¶
在以下場景建議運行 gpu_doctor 進行診斷:
- 驅動更新後:驗證 Windows NVIDIA 驅動在 WSL 中的可見性。
- 構建失敗前:在遇到 CUDA 構建失敗時,快速檢查 GPU 狀態。
- 加載模型前:在加載大型 GGUF 模型前,檢查顯存壓力和端口占用情況,避免顯存溢出。
注意事項與兼容性¶
- 工具集歸屬:該插件是
dsh-wsl-kit的一部分。推薦使用KIT_SET=daily、llm、github或full安裝集(詳見 kit README)。 - DSH 版本要求:需要安裝 DeepSeek Harness (dsh) 版本
>= 0.1.2。 - Cloud Flash 配置:插件本身不配置 Cloud Flash 模型。如需使用 Cloud Flash(V4.1 Flash),需在
~/.dsh/settings.yaml或llm-deepseek中手動設置模型 ID 爲deepseek-flash。 - Agent Teams:Agent Teams 功能爲上游實驗性特性,本插件不依賴該功能。
- 版本信息:當前插件版本爲 0.2.2(完整版;也包含在 llm 中)。Kit 中最新驗證版本爲 0.2.0-rc.2。
該工具專注於 WSL 環境下的 GPU 狀態診斷,適合需要精細管理本地推理資源的開發者。更多細節請訪問 GitHub 倉庫。