本地大模型全套部署 可商用:一条命令前先问清“装什么、要什么效果”

这个 Skill 面向想在自己机器或局域网内跑开源大模型的开发者,解决推理引擎、Web 客户端、智能体框架三层组件各装各的、API 互不相通的问题。它覆盖 llama.cpp、Ollama、LM Studio、vLLM 等推理引擎,OpenWebUI、Cherry Studio、LobeChat 等客户端,以及 Dify、FastGPT、Flowise、Crawl4AI 小龙虾、Hermes 函数调用等框架,统一走 OpenAI 兼容 API。工作方式上,Skill 在开工前先确认“下载什么、要达成什么效果”,随后不停顿地完成环境诊断、下载、启动、联通验证,下载阶段每 5 分钟汇报一次进度。启用前需要注意:Skill 本身不需要 API Key,但模型权重和推理引擎需自行准备;它只负责部署与联通,不做训练或微调。官方地址 https://api.skillhub.cn/user_cb80f343/local-model-deploy,坐标 @user_cb80f343/local-model-deploy,版本 1.0.0,来源为 community,分类 it-ops-security,采用前建议先做最小验证。

阅读全文