前言¶
DeepSeek Harness (DSH) 的核心設計理念是「一切皆插件」。對於需要在本地部署大模型的用戶,手動維護 llama-server 進程及配置參數往往較爲繁瑣。dsh-local-llm-controller 插件旨在解決這一問題,它將本地 llama.cpp 服務器無縫集成到 DSH 的設置與模型管理流程中,實現一鍵啓停與配置管理。
插件信息¶
- 名稱: lbunc/dsh-local-llm-controller
- 作者: Lbunc
- 分類: 模型推理
- 協議: MIT
- 核心價值: 在「設置→插件」頁一鍵啓停本地 llama.cpp 大模型(35B/9B,視覺×文本×快速/長上下文),卡片內配置、一條命令安裝、自動註冊,裝完即用。
安裝與啓用¶
使用一條命令即可完成安裝與自動註冊,無需手動配置:
dsh plugin --profile web add dsh-local-llm-controller
安裝完成後重啓 DSH Web,插件卡片將自動出現在「設置 → 插件」頁面。
核心功能¶
該插件提供以下能力:
1. 卡片控制: 在設置頁一鍵啓停 llama-server,狀態欄顯示運行日誌。
2. 雙槽位管理: 支持 A/B 兩個模型槽位,各槽位可獨立配置模型文件夾路徑。
3. 模式切換: 支持文本模式和視覺模式切換。
4. 參數預設: 提供 8 組啓動參數組合(2 槽位 × 文本/視覺 × 快速/長上下文),支持手動編輯。
5. 自動註冊: 自動管理服務器端口與參數,無需手動配置文件。
6. 多語言適配: 卡片界面文案跟隨 DSH Web 的語言設置。
使用流程¶
- 配置插件: 在插件卡片中填寫
llama.cpp 目錄(包含llama-server.exe)、端口(默認 55555)和密鑰。 - 配置模型槽位: 在「槽位 A / B」配置區填入模型文件夾路徑(含 GGUF 文件及視覺模式的
mmproj文件),點擊保存。 - 添加到模型列表: 保存配置後,文件夾內的 GGUF 模型將顯示爲氣泡。點擊選中一個模型,再次點擊「添加到模型列表」。
- 編輯參數: 在「啓動參數」區域選擇或編輯 8 組參數之一。基礎參數已預填,插件自動管理
-m、-a、--port等參數,無需手動添加。 - 啓動服務: 在卡片底部選擇槽位、模式及參數預設,點擊「啓動」。
- 對話: 服務啓動後,在 DSH 會話底部的模型列表中選擇對應的本地模型即可開始對話。
注意事項¶
- 版本兼容性: 僅適配 DSH 的 RC 正式分支(當前驗證版本 0.1.5-rc.1),其他分支不保證兼容。
- 視覺模式: 需使用支持
mmproj的 llama-server 構建版本,且舊版構建不支持 WebP 圖片,建議轉 PNG/JPEG。 - 模型切換: 同一插槽更換模型文件後,Provider Key 不會自動更新,需在「設置 → 模型」頁手動刪除舊條目後再重新添加。
- 組件依賴: 插件不包含
llama-server本體,也不負責模型下載,需自行準備。
生態背景¶
DSH 理念是「一切皆插件」,社區目錄由 SkillHub 維護,與 DeepSeek 官方無從屬關係。
相關鏈接¶
- 插件目錄: https://www.skillhub.cn/plugins/Lbunc/dsh-local-llm-controller
- 源碼倉庫: https://github.com/Lbunc/dsh-local-llm-controller