前言¶
在本地用 Docker 跑 NVIDIA NIM 格式大模型时,常见流程是:拉镜像、起容器、等健康检查、再自己写客户端或 curl 调 OpenAI 兼容接口。容器名冲突、端口未就绪就发请求、脚本散落在项目里,都会拖慢调试。若你希望「起服务后立刻像本地聊天程序一样对话」,又希望 Agent 按固定规范生成启动、停止和 Python 客户端,可以安装 SkillHub 上的社区 Skill nim-interactive-chat(坐标 @user_93ce1c9f/nim-interactive-chat,版本 1.0.0)。
这是什么¶
nim-interactive-chat 是一条面向 AI Agent 的 SKILL.md 指令包:分类为 ai-agent,来源为 community,发布者为 user_93ce1c9f,SkillHub 页面标注作者为 morgan。Skill 不要求配置 API Key(标签 requires_api_key=false)。其核心目标是:根据你提供的镜像、容器名、端口和模型名,让 Agent 在本地生成一套脚本——启动、停止,以及基于 OpenAI 兼容 API 的交互式对话客户端,并约定自动等待服务就绪、流式输出与上下文保持等行为。
核心功能¶
以下能力均来自 Skill 包内 SKILL.md 的说明,安装后由 Agent 读取并执行。
- 一键生成脚本 trio:
~/start-<container-name>.sh、~/stop-<container-name>.sh、~/<container-name>-chat.py。 - 启动流程:启动前清理旧容器避免冲突;等待健康检查通过后再进入对话。
- 对话体验:通过 OpenAI 兼容 API 支持流式输出;保持多轮上下文;输入
exit退出对话,容器可继续在后台运行。 - 可选调参:支持设置 GPU 显存利用率(默认
0.9)。 - 环境依赖:Docker、Python 3,以及 Python 包
openai。
安装与启用¶
先确认本机已安装 SkillHub CLI;未安装时可按官方安装文档执行完整安装或仅 CLI:
command -v skillhub && skillhub --version
curl -fsSL https://skillhub-1388575217.cos.ap-guangzhou.myqcloud.com/install/install.sh | bash
将 Skill 安装到当前 Agent 识别的 skills 目录。SkillHub 要求必须使用 --dir,否则默认落在 ./skills/ 且 Agent 可能无法加载。在 Cursor 中常用路径为 ~/.cursor/skills/;Claude Code 为 ~/.claude/skills/;Codex 为 ~/.codex/skills/ 或项目下的 .agents/skills/。安装命令示例:
skillhub install nim-interactive-chat --namespace user_93ce1c9f --dir ~/.cursor/skills/
也可让 Agent 按 SkillHub 页面提示,参照 https://skillhub.cn/install/skillhub.md 安装 @user_93ce1c9f/nim-interactive-chat。安装完成后需按你所用客户端的要求重启或刷新 Agent,以便加载新 Skill。
典型用法¶
Skill 约定 Agent 使用如下命令形式为你生成脚本(参数需你根据实际 NIM 镜像填写):
create-nim-interactive <image-name> <container-name> <port> <model-name> [gpu-memory-utilization]
参数含义:
| 参数 | 必填 | 说明 |
|---|---|---|
image-name |
是 | Docker 镜像名称 |
container-name |
是 | 容器名称 |
port |
是 | 本地端口映射 |
model-name |
是 | API 使用的模型名称 |
gpu-memory-utilization |
否 | GPU 显存利用率,默认 0.9 |
官方示例(Qwen3.5-4B NIM 镜像):
create-nim-interactive \
tgcr.turing-agi.com/public/qwen/qwen3.5-4b-spark-nim:latest \
qwen3.5-4b-nim \
18000 \
Qwen/Qwen3.5-4B \
0.88
生成后,在 Skill 说明中对应的操作方式为:
./start-qwen3.5-4b-nim.sh
./stop-qwen3.5-4b-nim.sh
实际文件名中的容器名片段会随你传入的 container-name 变化;脚本默认写在用户主目录 ~ 下。
适用场景与注意¶
适合谁:在本地通过 NGC、TGC 等渠道部署 NVIDIA NIM 格式模型,希望用统一模板生成「启动—等待就绪—交互对话」流程的开发者;由 Agent 代写脚本、减少重复手工配置的场景。
限制与注意:
- Skill 包仅包含
SKILL.md,不包含预编译的create-nim-interactive二进制;需由已加载该 Skill 的 Agent 按文档生成脚本,不同 Agent 的实现细节可能略有差异,生成后应自行检查脚本内容再执行。 - 运行依赖 Docker 与 GPU 环境是否满足 NIM 镜像要求;Python 端需自行安装
openai包。 - 示例镜像与域名来自 Skill 文档,是否可拉取、是否需要登录 registry,以你所在网络与账号权限为准。
- SkillHub 元数据显示该 Skill 评分为 100000、下载约 944 次(页面统计会变动),安装前可在 SkillHub 核对版本与说明。
结尾¶
nim-interactive-chat 把「NIM 容器 + OpenAI 兼容对话客户端」收敛成可重复的 Agent 工作流:参数化创建脚本、自动就绪检测、流式多轮对话与独立停止脚本。若你在 Cursor 或其他支持 SkillHub 的客户端里做本地 NIM 调试,可按上文安装到对应 skills 目录后,用 create-nim-interactive 让 Agent 生成一套可直接用的启动与聊天脚本。
官方 SkillHub 页面:https://www.skillhub.cn/skills/user_93ce1c9f/nim-interactive-chat