DeepSeek Harness 插件:dsh-local-llm

`dsh-local-llm` 是 DeepSeek Harness 的一个社区插件,用于在本地运行 GGUF 格式模型。它提供模型下载、管理及通过 `llama-server` 启动 OpenAI 兼容推理接口的功能。插件支持从 Hugging Face 下载模型、SSE 流式传输、自动检测上下文大小以及路径安全保护。用户需安装 Node.js 18+,通过指定配置启动服务,即可在 Harness 中直接调用本地模型,实现低延迟、隐私安全的推理。

阅读全文