dsh-wsl-gpu:WSL 内 GPU 可见性与推理端口探测工具

在 WSL2 环境下部署本地大模型推理时,显卡资源的可见性和显存占用情况往往是排查问题的核心。当同时开启 Ollama、llama-server 或 vLLM 时,显存冲突(OOM)风险较高。DeepSeek Harness (DSH) 的 dsh-wsl-gpu 插件旨在解决这一场景下的 GPU 状态监控与端口冲突探测问题。

插件定位

dsh-wsl-gpu 是一个 DeepSeek Harness 插件,隶属于 dsh-wsl-kit 工具集。它通过解析 nvidia-smi 输出,提供 GPU 的详细状态、Blackwell 架构提示以及推理端口的占用情况,帮助开发者在本地推理环境中快速定位资源瓶颈。

核心功能

该插件提供以下具体能力:

  1. GPU 状态解析:提取 GPU 名称、驱动版本、显存使用量与总量、GPU 利用率及计算能力。
  2. 新架构提示:针对 Blackwell / RTX 50 系列(sm_120)以及 CUDA 12.8+/13.x 环境提供特定提示。
  3. 端口扫描:自动扫描常见的推理服务端口(11434、1234、8000、8080),判断端口占用情况。
  4. 故障指引:提供指向 host_reach 和 docker_doctor focus=vllm 的指针,辅助后续排查。

安装与启用

可以通过以下两种方式安装该插件。

方式一:通过 Kit 安装(推荐)

使用 dsh-wsl-kit 的安装脚本,指定 KIT_SET=llm 以包含此插件:

curl -fsSL https://raw.githubusercontent.com/173787247/dsh-wsl-kit/master/install.sh | KIT_SET=llm bash

方式二:通过 DSH 插件管理器

直接使用 DSH 插件命令添加:

dsh plugin --profile web add github:173787247/dsh-wsl-gpu

典型用法

在以下场景建议运行 gpu_doctor 进行诊断:

  • 驱动更新后:验证 Windows NVIDIA 驱动在 WSL 中的可见性。
  • 构建失败前:在遇到 CUDA 构建失败时,快速检查 GPU 状态。
  • 加载模型前:在加载大型 GGUF 模型前,检查显存压力和端口占用情况,避免显存溢出。

注意事项与兼容性

  • 工具集归属:该插件是 dsh-wsl-kit 的一部分。推荐使用 KIT_SET=daily、llm、github 或 full 安装集(详见 kit README)。
  • DSH 版本要求:需要安装 DeepSeek Harness (dsh) 版本 >= 0.1.2。
  • Cloud Flash 配置:插件本身不配置 Cloud Flash 模型。如需使用 Cloud Flash(V4.1 Flash),需在 ~/.dsh/settings.yaml 或 llm-deepseek 中手动设置模型 ID 为 deepseek-flash。
  • Agent Teams:Agent Teams 功能为上游实验性特性,本插件不依赖该功能。
  • 版本信息:当前插件版本为 0.2.2(完整版;也包含在 llm 中)。Kit 中最新验证版本为 0.2.0-rc.2。

该工具专注于 WSL 环境下的 GPU 状态诊断,适合需要精细管理本地推理资源的开发者。更多细节请访问 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜