前言¶
DeepSeek Harness (DSH) 的核心理念是“一切皆插件”。對於需要在本地部署模型推理的開發者或用戶,管理進程的啓動、顯存佔用以及參數切換是一個常見的痛點。dsh-plugin-local-model 插件直接解決了這些問題,通過在設置頁中獨立管理本地模型,實現了自動化與資源釋放。
插件定位¶
這是一個由 DZQJOKER 維護的 DeepSeek Harness 插件,屬於模型推理類別。
核心價值:
在設置裏獨立的“本地模型”頁,首條對話自動拉起 llama.cpp,空閒 5 分鐘自動卸載釋放資源。
核心功能¶
模型與進程管理¶
- 自動拉起:當用戶在設置頁中配置好本地 GGUF 模型後,第一條對話會自動拉起 llama.cpp 載入模型。
- 自動卸載:連續 5 分鐘無交互時,插件會自動卸載模型並釋放顯存,減少系統資源佔用。
參數預設與切換¶
在設置頁頂部提供了一塊參數預設區域。用戶可以把整套加載/推理參數(含選中的模型與視覺投影)存成帶名字的條目。支持存多組、可重命名、可覆蓋、可刪除,點擊一下即可一鍵切換。
環境與權限隔離¶
- 離線運行:插件不聯網拉模型。
- 文件安全:不碰工作區文件。
- 網絡監聽:除本機迴環地址外不監聽任何端口。
典型用法¶
- 準備環境:用戶需要自行下載所需的 GGUF 模型文件以及 llama 工具,並將它們放入插件規定的目錄中。
- 配置模型:在 DSH 的設置中找到“本地模型”頁面,添加配置好的模型。
- 配置參數:在設置頁頂部的參數預設區域,保存當前的參數配置(包括模型路徑、推理參數等)。
- 開始對話:發起第一條對話,llama.cpp 將自動啓動並載入模型。
- 釋放資源:對話結束後停止輸入,5 分鐘無交互後模型將自動卸載。
安裝與啓用¶
目前未提供官方的一鍵安裝命令。建議通過插件目錄手動安裝或從源碼構建。請參考 GitHub 倉庫 獲取詳細的安裝步驟。
適用場景與注意¶
- 適用場景:需要本地運行大模型、注重隱私保護(不聯網)、或者需要頻繁切換不同推理參數的場景。
- 注意:
- 模型和 llama 工具由用戶自己下載,需放入指定目錄。
- 插件以當前 DSH 進程權限運行,安裝前應檢查源碼與許可證(MIT)。
結語¶
該插件通過自動化拉起與卸載機制,降低了本地模型推理的使用門檻,同時通過參數預設提升了配置效率。對於追求本地化、私有化部署的開發者,這是一個實用的工具。
- 插件目錄:dsh-plugin-local-model
- 源碼倉庫:GitHub