前言¶

在 DeepSeek Harness 的插件生態中，本地化模型推理是降低延遲、保護隱私的關鍵場景。dsh-local-llm 插件專門用於管理本地 GGUF 模型，並通過 llama-server 提供 OpenAI 兼容的推理接口，省去了配置 Ollama 的步驟。

簡介¶

這是一個 DeepSeek Harness 本地 LLM 集成插件，由用戶 wertyBSd 維護。它允許用戶在 Harness 環境中直接下載、管理和運行 GGUF 格式的模型，將本地 LLM 服務作爲 Harness 的一個 Provider 接入。

核心功能¶

1. 模型下載與管理：支持從 Hugging Face 或直接 URL 下載 GGUF 模型，支持搜索內置模型目錄，顯示已下載模型列表和文件大小，支持刪除已下載模型。
2. 下載優化：通過 SSE 流式傳輸下載進度，支持去重併發下載，自動清理不完整下載和 HTTP 重定向。
3. 安全與容錯：通過文件名防止路徑遍歷，在服務器未就緒時返回明確錯誤。
4. 智能適配：自動選擇模型適配的上下文大小，在發送請求前檢測 TinyLlama 是否能容納 Harness 提示詞。
5. 狀態指示：在側邊欄頁腳提供服務器運行狀態指示器。

安裝與配置¶

系統需滿足 Node.js 18 或更高版本，且 DeepSeek Harness 必須啓用 llm 和 webServer 服務。

安裝命令如下：

dsh plugin --profile web add https://github.com/wertyBSd/dsh-local-llm

插件包含預構建的 dist/ 目錄。配置示例（可在 dsh --dump-config 中修改）如下：

{
  "model": "mistral-7b-instruct-v0.3-Q4_K_M.gguf",
  "modelPath": "",
  "runtimeUrl": "http://127.0.0.1:8080",
  "contextSize": 8192,
  "autoContextSize": true,
  "port": 8080,
  "downloadDir": "./models"
}

參數說明：
* model：內置模型名或 .gguf 文件的直接 URL。
* runtimeUrl：本地推理服務的 URL（默認爲 http://127.0.0.1:8080）。
* contextSize：傳遞給 llama-server 的最小上下文大小（默認 8192）。
* autoContextSize：自動選擇模型依賴的上下文大小（默認開啓）。

內置模型包括：mistral-7b-instruct-v0.3-Q4_K_M.gguf、llama-3-8b-instruct-q4_K_M.gguf、deepseek-coder-6.7b-instruct-q4_K_M.gguf、qwen-2.5-7b-instruct-q4_K_M.gguf。

使用指南¶

1. 啓動服務器：打開插件 UI（通過側邊欄頁腳的指示器或“Local models”按鈕），點擊“Download and install server”下載 llama-server 運行時，選擇模型後點擊 Start 啓動。
2. 調用模型：在 Harness 配置中選擇該插件提供的模型，系統會自動連接到 ${runtimeUrl}/v1/chat/completions 發送流式請求。
3. API 端點：插件提供以下 HTTP 接口：
   • GET /api/local-llm/models - 列出已下載模型
   • POST /api/local-llm/download - 下載模型
   • GET /api/local-llm/progress - 獲取下載進度（SSE）
   • POST /api/local-llm/delete - 刪除模型
   • GET /api/local-llm/server/status - 獲取服務器狀態
   • POST /api/local-llm/server/install - 安裝服務器
   • POST /api/local-llm/server/start - 啓動服務器
   • POST /api/local-llm/server/stop - 停止服務器

注意事項¶

1. 環境依賴：需安裝 Node.js 18+，且 Harness 必須包含 llm 和 webServer 服務。
2. 運行時行爲：llama-server 運行時由插件 UI 下載，僅在用戶點擊 Start 後啓動。請求在服務器未就緒前會返回明確錯誤。
3. 目錄與端口：默認服務器目錄爲 ./llama-server，端口默認爲 8080。
4. 本地化：支持英語、俄語、中文、法語、西班牙語、意大利語、波蘭語、德語、印地語、日語。
5. 生態說明：該插件爲社區插件，目錄與 DeepSeek / 幻方無官方從屬關係。

結語¶

dsh-local-llm 提供了從模型下載到推理服務啓動的完整閉環。對於需要在本地運行 Llama.cpp 系列模型並接入 Harness 生態的開發者，這是一個直接的解決方案。

GitHub 倉庫 | 社區目錄