前言¶

想在自己机器上跑起 70B 或 DeepSeek 这类大模型，第一步往往不是下载模型，而是搞清楚：手上的 GPU 能不能装下，该用 vLLM、llama.cpp 还是 Ollama，batch、量化、显存分配这些参数怎么设。社区里能找到的方案大多针对特定显卡和特定模型，换一个配置就得重新查一轮。这个 Skill 做的是把「硬件配置 + 模型需求 → 部署方案」这一步收敛成一次可重复的生成。

这是什么¶

「本地大模型部署指南」是一个社区来源的 Skill，坐标 @user_a10ab3ad/llm-local-deployment，当前版本 1.1.0，分类 it-ops-security，发布者 user_a10ab3ad，标签 requires_api_key=false（不需要 API Key）。

它解决的问题是：给定你的硬件配置（GPU 型号、显存大小、内存）和你要跑的模型（例如 70B 参数规模的模型、DeepSeek 系列），输出一份本地推理部署方案，包含工具选择、参数配置和性能优化建议。

核心功能¶

根据 Skill 简介，它的能力范围是三项：

• 工具选择：针对给定的硬件和模型，推荐适合的本地推理框架。
• 参数配置：给出部署时的参数设置建议。
• 性能优化：针对本地推理的性能给出优化方向。

它不是部署脚本本身，而是一个「方案生成器」：输入硬件和模型信息，得到该用什么工具、怎么配、怎么调优的指导。

安装与启用¶

该 Skill 基于通用 SKILL.md 格式。已在资料中核实到的配置信息只有一项：标签 requires_api_key=false，即使用时不需要 API Key。

官方资料没有给出具体的安装命令或目录路径，因此这里不编写安装步骤。在支持 SKILL.md 格式的 Agent 工具中，按该工具的 Skill 启用方式加载 @user_a10ab3ad/llm-local-deployment 即可，具体操作以你所用工具的说明为准。

典型用法¶

官方资料未提供可复现的示例输入输出，以下仅基于简介描述其使用方式。

使用时，把两部分信息提供给 Skill：

1、硬件配置：GPU 型号、显存大小、内存大小。
2、模型需求：例如 70B 参数规模的模型，或 DeepSeek 系列模型。

Skill 据此生成一份本地推理部署方案，覆盖工具选择、参数配置和性能优化建议。

需要说明的是，方案中的具体工具名、参数值和优化手段取决于输入硬件与模型，官方资料未列出固定模板，因此不在此预设示例输出。

适用场景与注意¶

适合这类人：

• 已有明确 GPU / 内存配置，想在本地跑大模型，但不确定该选哪个推理框架、参数怎么设的开发者。
• 需要针对特定模型规模（如 70B）或特定模型系列（如 DeepSeek）做部署规划的人。

需要注意的点：

• 它输出的是方案和建议，不是一键部署脚本。拿到方案后仍需自己执行部署、调参和验证。
• 输入的硬件信息越具体，方案的针对性越强；只给「一张显卡」而不说明型号和显存，输出会受限。
• 本地推理的实际性能还取决于驱动、CUDA 版本、模型权重来源等，Skill 给出的是配置层面的建议，不替代实际压测。

结尾¶

这个 Skill 的价值在于把「查部署方案」从多次零散搜索收敛成一次结构化生成：给硬件和模型，拿工具、参数、优化建议。它不替代部署和压测，但能减少前期在选型和参数上的试错。

官方地址：https://www.skillhub.cn/skills/user_a10ab3ad/llm-local-deployment