本地大模型全套部署 可商用:一條命令前先問清“裝什麼、要什麼效果”
這個 Skill 面向想在自己機器或局域網內跑開源大模型的開發者,解決推理引擎、Web 客戶端、智能體框架三層組件各裝各的、API 互不相通的問題。它覆蓋 llama.cpp、Ollama、LM Studio、vLLM 等推理引擎,OpenWebUI、Cherry Studio、LobeChat 等客戶端,以及 Dify、FastGPT、Flowise、Crawl4AI 小龍蝦、Hermes 函數調用等框架,統一走 OpenAI 兼容 API。工作方式上,Skill 在開工前先確認“下載什麼、要達成什麼效果”,隨後不停頓地完成環境診斷、下載、啓動、聯通驗證,下載階段每 5 分鐘彙報一次進度。啓用前需要注意:Skill 本身不需要 API Key,但模型權重和推理引擎需自行準備;它只負責部署與聯通,不做訓練或微調。官方地址 https://api.skillhub.cn/user_cb80f343/local-model-deploy,座標 @user_cb80f343/local-model-deploy,版本 1.0.0,來源爲 community,分類 it-ops-security,採用前建議先做最小驗證。
閱讀全文