前言¶
在本机或局域网里跑通开源大模型,最容易卡住的是链路而不是模型:推理引擎装好了,Web 客户端连不上;客户端能连,智能体框架又读不到同一个 API。这个 Skill 的定位是把“环境诊断 → 下载 → 启动 → 联通验证”串成一条不停顿的流程,并且强制在动手前先确认两个问题:要下载什么、要达成什么效果。
这是什么¶
「本地大模型全套部署 可商用」是一个面向 Windows / Linux / macOS 的部署类 Skill,坐标 @user_cb80f343/local-model-deploy,版本 1.0.0,由社区发布者 user_cb80f343 维护,分类 it-ops-security,来源标记为 community,标签 requires_api_key=false。它解决的问题是:把推理引擎、Web 客户端、智能体框架三层组件装到同一台机器或同一局域网内,并统一走 OpenAI 兼容 API。
核心功能¶
按官方简介,能力范围有三块:
1、推理引擎:llama.cpp / Ollama / LM Studio / vLLM 等开源方案。
2、Web 客户端:OpenWebUI / Cherry Studio / LobeChat 等。
3、智能体框架:Dify / FastGPT / Flowise / Crawl4AI 小龙虾 / Hermes 函数调用等。
工作方式上,Skill 在开工前先问清“下载什么 + 要达成什么效果”,之后不停顿地完成环境诊断、下载、启动、联通验证;下载阶段每 5 分钟向用户汇报一次进度。触发场景包括:用户说“部署本地模型”“装个本地 AI”“跑开源大模型”“部署 Ollama/llama.cpp/LM Studio”“装 OpenWebUI”“本地部署智能体”“搭个本地 Copilot”“局域网多人用大模型”等。
安装与启用¶
Skill 采用通用 SKILL.md 格式,可放入本机 skills 目录,或在支持技能市场的客户端里按坐标 @user_cb80f343/local-model-deploy 启用。官方页面:https://api.skillhub.cn/user_cb80f343/local-model-deploy
启用前需要注意两点:
1、本 Skill 不需要 API Key,但被部署的推理引擎和模型权重需要你自己准备。
2、它负责部署与联通,不负责训练或微调。
典型用法¶
以下流程来自官方简介描述的工作方式:
1. 先确认要下载的组件(推理引擎 / Web 客户端 / 智能体框架,任选或组合)
2. 确认要达成的效果(本机单人使用,还是局域网多人使用)
3. 环境诊断 → 下载 → 启动 → 联通验证,全程不停顿
4. 下载阶段每 5 分钟汇报一次进度
同一个 OpenAI 兼容 API 地址会被客户端和智能体框架共用,因此“搭个本地 Copilot”这类需求,本质上就是先起推理引擎,再把客户端指到该地址。
适用场景与注意¶
适合这类人:想在自己机器上跑开源模型,或把模型能力放进局域网内多人使用;不想分别查三套组件的文档,希望一次装完并打通 API。
限制方面:
1、SkillHub 页面显示该 Skill 当前安装数为 0、来源为 community,采用前建议先在自己环境做一次最小验证。
2、不同推理引擎对硬件要求差别很大,显存不足时先降模型规格,再谈部署流程。
3、局域网多人使用时,需要单独考虑鉴权与端口暴露,Skill 简介未说明这部分细节。
结尾¶
这个 Skill 的价值在于把部署链路缩短成一条标准流程,并且在动手前强迫你说清楚目标,避免装到一半发现客户端和框架读的不是一个 API。官方地址:https://api.skillhub.cn/user_cb80f343/local-model-deploy