前言¶

DeepSeek Harness (DSH) 通過插件機制支持功能擴展，但在連接本地大模型服務器時，開發者通常需要自行處理模型發現、自動加載、併發控制和容錯等細節。現有的適配器方案在處理高併發請求或模型未加載時的場景往往不夠健壯。dsh-localforge 作爲一個高性能適配器插件，旨在解決這些痛點，爲 DSH 提供一個穩定且功能完備的本地模型接入方案。

這是什麼¶

dsh-localforge 是一個高性能的適配器插件，由 orfeomorello 維護。它將 DeepSeek Harness (dsh) 與本地大語言模型服務器連接起來，主要支持 LM Studio，同時也兼容任何 OpenAI 或 Anthropic 兼容的端點。其核心價值在於通過插件機制，讓 DSH 能夠直接調用本地算力，同時解決了本地模型在併發請求下可能出現的飽和問題。

核心功能¶

該插件提供了以下關鍵能力：
* 模型發現與緩存：支持 /v1/models 和本地 API (/api/v0/models) 探測，具備 TTL 緩存和顯式失效機制，避免了每次解析模型時的重複探測。
* 自動加載：當請求的模型未在服務器中加載時，自動觸發加載請求並輪詢模型就緒狀態。
* 併發限制：爲每個模型 ID 串行化請求，防止量化模型在高併發下飽和。
* 容錯與回退：支持配置模型 fallback 鏈，當主模型返回可恢復錯誤時自動切換至備用模型。
* 推理預算：限制模型在生成最終答案前的內部思考長度。
* 採樣預設：提供 code、chat、creative、precise 等預設配置。
* 性能監控：暴露 Prometheus 指標接口，包含 TTFT、TPS、隊列深度和緩存命中率。
* 協議兼容：內置 Anthropic 兼容的 /v1/messages 適配器，支持 Claude 風格的系統提示和工具調用。
* 安全日誌：結構化日誌輸出，且自動脫敏敏感信息（如憑證）。
* 類型安全：基於嚴格的 TypeScript 配置開發，包含完整的測試覆蓋。

安裝與啓用¶

安裝前請確保環境滿足以下要求：
* DeepSeek Harness (dsh) 啓用了 web profile。
* 本地 LLM 服務器（推薦 LM Studio 0.4.8+，默認端口 1234）。
* Node.js >= 22.19 和 pnpm >= 9。

使用官方插件安裝命令添加該倉庫：

dsh plugin --profile web add github:orfeomorello/dsh-localforge#main

安裝完成後，在 DSH 的 Web 界面中：
1. 打開 Settings → Plugins。
2. 啓用 LocalForge 插件。如果提示重啓，請重啓 dsh web。
3. 在模型選擇器頂部，選擇 LocalForge 作爲提供者。

注意：該倉庫的安裝器會立即掛載社區插件。由於插件管理器直接導入編譯後的 lib/ 入口，GitHub 的安裝器不會編譯 TypeScript 源碼。如果 UI 仍顯示導入失敗，請檢查瀏覽器控制台或 dsh web 終端的完整錯誤信息。

典型用法¶

在 ~/.dsh/settings.yaml 中添加最小配置示例：

llm-localforge:
  defaultConnection:
    baseURL: http://localhost:1234/v1
  models:
    - id: qwen/qwen3-8b
      preset: code
      fallback:
        - qwen/qwen3-4b
        - llama-3.1-8b

配置完成後，選擇 LocalForge 提供者即可開始對話。流量將直接流向本地服務器，不影響 DeepSeek API 的餘額。

適用場景與注意¶

該插件適合需要在本地運行模型、追求更高併發控制能力或需要 Prometheus 監控的開發者。它採用 MIT 許可證。

注意：由於插件以當前 DSH 進程的權限運行，建議在使用前檢查源碼以確保符合安全要求。

結語¶

通過 LocalForge，開發者可以在不消耗 API 配置的前提下，利用本地算力完成模型推理。更多細節請參考 GitHub 倉庫 或 社區目錄。