前言¶
在本地運行大模型通常涉及繁瑣的 Python 環境管理、虛擬環境配置以及進程維護工作。對於使用 DeepSeek Harness (DSH) 的用戶而言，集成本地推理服務需要額外的定製化開發。dsh-mlx-local 插件旨在解決這一痛點，它負責管理 Python 環境、啓動和停止 mlx_lm.server，並將本地服務無縫接入 DSH 已有的“自定義提供方”體系。
這是什麼¶
dsh-mlx-local 是一個爲 Apple Silicon Mac 設計的 DSH 插件。由 JshGao 維護，其核心職責是爲本地模型推理提供基礎設施。它不涉及複雜的業務邏輯，而是專注於環境搭建、服務啓停以及與 DSH 客戶端的協議對接，從而讓用戶能夠在不增加固定請求成本的前提下，通過 DSH 訪問本地模型。
核心功能¶
- 設置頁管理：在 DSH 設置頁提供“MLX 模型”欄目，支持啓動、停止以及切換本地模型。
- 環境自動配置：自動探測 Python 3.9–3.13，創建獨立的虛擬環境 (venv) 並安裝
mlx-lm。 - 模型目錄管理：支持添加、移除、預下載以及列出本地模型。
- 服務穩定性：具備服務異常退出檢測、殘留進程回收能力，並在 DSH 退出時自動關閉本地服務。
- Qwen3 優化：爲本地 Qwen3 模型自動配置思考強度，主界面模型選擇器可切換 Off / High。
- 純淨接入：不註冊額外的 provider，繼續使用 DSH 的“自定義提供方”接入；不註冊系統提示詞段，也不註冊任何工具。插件僅作爲基礎設施運行。
安裝與啓用¶
使用官方提供的 Release 包進行安裝：
dsh plugin --profile web add https://github.com/JshGao/dsh-mlx-local/releases/download/v0.4.1/dsh-mlx-local-0.4.1.tgz
安裝後需要重啓 DSH 以加載插件。
典型用法¶
- 啓動服務：重啓 DSH 後，打開 設置 → MLX 模型。在設置頁加載模型目錄或使用內置 HF 模型，選擇模型後點擊 啓動。
- 配置 Provider：在 設置 → 模型 → 添加 provider 中：
- 選擇 自定義提供方。
- route 名任意，例如
local。 - 協議選擇
openai-completions。 - baseURL 填
http://127.0.0.1:8080/v1。 - 模型 id 填 MLX 插件目錄中顯示的模型 id。
- API Key 填任意值（本地服務不會校驗）。
- 使用會話：新建會話，在主界面選擇該 provider。若模型是 Qwen3，思考強度會顯示 Off / High。
適用場景與注意¶
- 硬件與系統：僅支持 Apple Silicon (M 系列) Mac，系統要求 macOS 13 或更高。
- DSH 版本：要求 DSH 版本在 0.1.5-rc.1 及以上，且
dsh命令可用。 - Python 版本：要求 3.9–3.13，建議 3.10–3.12。
- 網絡與存儲：首次使用 Hugging Face 模型時需要聯網下載權重；每個 4-bit 模型約佔用 2–6 GB 磁盤空間。
- 服務啓動：服務不隨 DSH 啓動自動拉起，需要用戶在設置頁顯式點擊啓動。
- 版本更新：0.4.1 是破壞性更新，插件不再註冊任何工具。從舊版本升級時，必須先移除再安裝。
- 卸載殘留：卸載時插件設置和
~/.dsh/mlx/下的 venv、日誌會保留，需手動刪除。
短結尾¶
dsh-mlx-local 將 MLX 本地推理的繁瑣工作封裝爲標準插件，降低了在 Apple Silicon 上使用 DSH 進行本地部署的門檻。如需瞭解更多詳情或查看源碼，可訪問 插件目錄 或 GitHub 倉庫。
