dsh-wsl-gpu:WSL 內 GPU 可見性與推理端口探測工具

在 WSL2 環境下部署本地大模型推理時,顯卡資源的可見性和顯存佔用情況往往是排查問題的核心。當同時開啓 Ollama、llama-server 或 vLLM 時,顯存衝突(OOM)風險較高。DeepSeek Harness (DSH) 的 dsh-wsl-gpu 插件旨在解決這一場景下的 GPU 狀態監控與端口衝突探測問題。

插件定位

dsh-wsl-gpu 是一個 DeepSeek Harness 插件,隸屬於 dsh-wsl-kit 工具集。它通過解析 nvidia-smi 輸出,提供 GPU 的詳細狀態、Blackwell 架構提示以及推理端口的佔用情況,幫助開發者在本地推理環境中快速定位資源瓶頸。

核心功能

該插件提供以下具體能力:

  1. GPU 狀態解析:提取 GPU 名稱、驅動版本、顯存使用量與總量、GPU 利用率及計算能力。
  2. 新架構提示:針對 Blackwell / RTX 50 系列(sm_120)以及 CUDA 12.8+/13.x 環境提供特定提示。
  3. 端口掃描:自動掃描常見的推理服務端口(11434、1234、8000、8080),判斷端口占用情況。
  4. 故障指引:提供指向 host_reach 和 docker_doctor focus=vllm 的指針,輔助後續排查。

安裝與啓用

可以通過以下兩種方式安裝該插件。

方式一:通過 Kit 安裝(推薦)

使用 dsh-wsl-kit 的安裝腳本,指定 KIT_SET=llm 以包含此插件:

curl -fsSL https://raw.githubusercontent.com/173787247/dsh-wsl-kit/master/install.sh | KIT_SET=llm bash

方式二:通過 DSH 插件管理器

直接使用 DSH 插件命令添加:

dsh plugin --profile web add github:173787247/dsh-wsl-gpu

典型用法

在以下場景建議運行 gpu_doctor 進行診斷:

  • 驅動更新後:驗證 Windows NVIDIA 驅動在 WSL 中的可見性。
  • 構建失敗前:在遇到 CUDA 構建失敗時,快速檢查 GPU 狀態。
  • 加載模型前:在加載大型 GGUF 模型前,檢查顯存壓力和端口占用情況,避免顯存溢出。

注意事項與兼容性

  • 工具集歸屬:該插件是 dsh-wsl-kit 的一部分。推薦使用 KIT_SET=daily、llm、github 或 full 安裝集(詳見 kit README)。
  • DSH 版本要求:需要安裝 DeepSeek Harness (dsh) 版本 >= 0.1.2。
  • Cloud Flash 配置:插件本身不配置 Cloud Flash 模型。如需使用 Cloud Flash(V4.1 Flash),需在 ~/.dsh/settings.yaml 或 llm-deepseek 中手動設置模型 ID 爲 deepseek-flash。
  • Agent Teams:Agent Teams 功能爲上游實驗性特性,本插件不依賴該功能。
  • 版本信息:當前插件版本爲 0.2.2(完整版;也包含在 llm 中)。Kit 中最新驗證版本爲 0.2.0-rc.2。

該工具專注於 WSL 環境下的 GPU 狀態診斷,適合需要精細管理本地推理資源的開發者。更多細節請訪問 GitHub 倉庫。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜