huggingface-local-models:用 Skill 在本地跑 Hugging Face GGUF 模型

huggingface-local-models 是 Hugging Face skills 仓库中的 Agent Skill,指导在 CPU、Metal、CUDA 或 ROCm 上通过 llama.cpp 与 GGUF 在本地选型与推理。默认流程包括用 apps=llama.cpp 搜 Hub、阅读 local-app 页的 quant 建议、用 tree API 确认文件名,并以 llama-cli 或 llama-server 的 -hf 形式启动,必要时 --hf-repo/--hf-file 或从 Transformers 转换。文章说明安装启用方式、量化选择要点、OpenAI 兼容本地服务冒烟测试及适用注意。

阅读全文
DeepSeek Harness 插件:dsh-local-llm

`dsh-local-llm` 是 DeepSeek Harness 的一个社区插件,用于在本地运行 GGUF 格式模型。它提供模型下载、管理及通过 `llama-server` 启动 OpenAI 兼容推理接口的功能。插件支持从 Hugging Face 下载模型、SSE 流式传输、自动检测上下文大小以及路径安全保护。用户需安装 Node.js 18+,通过指定配置启动服务,即可在 Harness 中直接调用本地模型,实现低延迟、隐私安全的推理。

阅读全文