前言¶

在 DeepSeek Harness 的插件生态中，本地化模型推理是降低延迟、保护隐私的关键场景。dsh-local-llm 插件专门用于管理本地 GGUF 模型，并通过 llama-server 提供 OpenAI 兼容的推理接口，省去了配置 Ollama 的步骤。

简介¶

这是一个 DeepSeek Harness 本地 LLM 集成插件，由用户 wertyBSd 维护。它允许用户在 Harness 环境中直接下载、管理和运行 GGUF 格式的模型，将本地 LLM 服务作为 Harness 的一个 Provider 接入。

核心功能¶

1. 模型下载与管理：支持从 Hugging Face 或直接 URL 下载 GGUF 模型，支持搜索内置模型目录，显示已下载模型列表和文件大小，支持删除已下载模型。
2. 下载优化：通过 SSE 流式传输下载进度，支持去重并发下载，自动清理不完整下载和 HTTP 重定向。
3. 安全与容错：通过文件名防止路径遍历，在服务器未就绪时返回明确错误。
4. 智能适配：自动选择模型适配的上下文大小，在发送请求前检测 TinyLlama 是否能容纳 Harness 提示词。
5. 状态指示：在侧边栏页脚提供服务器运行状态指示器。

安装与配置¶

系统需满足 Node.js 18 或更高版本，且 DeepSeek Harness 必须启用 llm 和 webServer 服务。

安装命令如下：

dsh plugin --profile web add https://github.com/wertyBSd/dsh-local-llm

插件包含预构建的 dist/ 目录。配置示例（可在 dsh --dump-config 中修改）如下：

{
  "model": "mistral-7b-instruct-v0.3-Q4_K_M.gguf",
  "modelPath": "",
  "runtimeUrl": "http://127.0.0.1:8080",
  "contextSize": 8192,
  "autoContextSize": true,
  "port": 8080,
  "downloadDir": "./models"
}

参数说明：
* model：内置模型名或 .gguf 文件的直接 URL。
* runtimeUrl：本地推理服务的 URL（默认为 http://127.0.0.1:8080）。
* contextSize：传递给 llama-server 的最小上下文大小（默认 8192）。
* autoContextSize：自动选择模型依赖的上下文大小（默认开启）。

内置模型包括：mistral-7b-instruct-v0.3-Q4_K_M.gguf、llama-3-8b-instruct-q4_K_M.gguf、deepseek-coder-6.7b-instruct-q4_K_M.gguf、qwen-2.5-7b-instruct-q4_K_M.gguf。

使用指南¶

1. 启动服务器：打开插件 UI（通过侧边栏页脚的指示器或“Local models”按钮），点击“Download and install server”下载 llama-server 运行时，选择模型后点击 Start 启动。
2. 调用模型：在 Harness 配置中选择该插件提供的模型，系统会自动连接到 ${runtimeUrl}/v1/chat/completions 发送流式请求。
3. API 端点：插件提供以下 HTTP 接口：
   • GET /api/local-llm/models - 列出已下载模型
   • POST /api/local-llm/download - 下载模型
   • GET /api/local-llm/progress - 获取下载进度（SSE）
   • POST /api/local-llm/delete - 删除模型
   • GET /api/local-llm/server/status - 获取服务器状态
   • POST /api/local-llm/server/install - 安装服务器
   • POST /api/local-llm/server/start - 启动服务器
   • POST /api/local-llm/server/stop - 停止服务器

注意事项¶

1. 环境依赖：需安装 Node.js 18+，且 Harness 必须包含 llm 和 webServer 服务。
2. 运行时行为：llama-server 运行时由插件 UI 下载，仅在用户点击 Start 后启动。请求在服务器未就绪前会返回明确错误。
3. 目录与端口：默认服务器目录为 ./llama-server，端口默认为 8080。
4. 本地化：支持英语、俄语、中文、法语、西班牙语、意大利语、波兰语、德语、印地语、日语。
5. 生态说明：该插件为社区插件，目录与 DeepSeek / 幻方无官方从属关系。

结语¶

dsh-local-llm 提供了从模型下载到推理服务启动的完整闭环。对于需要在本地运行 Llama.cpp 系列模型并接入 Harness 生态的开发者，这是一个直接的解决方案。

GitHub 仓库 | 社区目录