DeepSeek Harness 插件:dsh-local-llm
`dsh-local-llm` 是 DeepSeek Harness 的一個社區插件,用於在本地運行 GGUF 格式模型。它提供模型下載、管理及通過 `llama-server` 啓動 OpenAI 兼容推理接口的功能。插件支持從 Hugging Face 下載模型、SSE 流式傳輸、自動檢測上下文大小以及路徑安全保護。用戶需安裝 Node.js 18+,通過指定配置啓動服務,即可在 Harness 中直接調用本地模型,實現低延遲、隱私安全的推理。
閱讀全文