dsh-local-llm-controller:爲 DSH 接入本地 llama.cpp 能力

前言

DeepSeek Harness (DSH) 的核心設計理念是「一切皆插件」。對於需要在本地部署大模型的用戶,手動維護 llama-server 進程及配置參數往往較爲繁瑣。dsh-local-llm-controller 插件旨在解決這一問題,它將本地 llama.cpp 服務器無縫集成到 DSH 的設置與模型管理流程中,實現一鍵啓停與配置管理。

插件信息

  • 名稱: lbunc/dsh-local-llm-controller
  • 作者: Lbunc
  • 分類: 模型推理
  • 協議: MIT
  • 核心價值: 在「設置→插件」頁一鍵啓停本地 llama.cpp 大模型(35B/9B,視覺×文本×快速/長上下文),卡片內配置、一條命令安裝、自動註冊,裝完即用。

安裝與啓用

使用一條命令即可完成安裝與自動註冊,無需手動配置:

dsh plugin --profile web add dsh-local-llm-controller

安裝完成後重啓 DSH Web,插件卡片將自動出現在「設置 → 插件」頁面。

核心功能

該插件提供以下能力:
1. 卡片控制: 在設置頁一鍵啓停 llama-server,狀態欄顯示運行日誌。
2. 雙槽位管理: 支持 A/B 兩個模型槽位,各槽位可獨立配置模型文件夾路徑。
3. 模式切換: 支持文本模式和視覺模式切換。
4. 參數預設: 提供 8 組啓動參數組合(2 槽位 × 文本/視覺 × 快速/長上下文),支持手動編輯。
5. 自動註冊: 自動管理服務器端口與參數,無需手動配置文件。
6. 多語言適配: 卡片界面文案跟隨 DSH Web 的語言設置。

使用流程

  1. 配置插件: 在插件卡片中填寫 llama.cpp 目錄(包含 llama-server.exe)、端口(默認 55555)和 密鑰。
  2. 配置模型槽位: 在「槽位 A / B」配置區填入模型文件夾路徑(含 GGUF 文件及視覺模式的 mmproj 文件),點擊保存。
  3. 添加到模型列表: 保存配置後,文件夾內的 GGUF 模型將顯示爲氣泡。點擊選中一個模型,再次點擊「添加到模型列表」。
  4. 編輯參數: 在「啓動參數」區域選擇或編輯 8 組參數之一。基礎參數已預填,插件自動管理 -m、-a、--port 等參數,無需手動添加。
  5. 啓動服務: 在卡片底部選擇槽位、模式及參數預設,點擊「啓動」。
  6. 對話: 服務啓動後,在 DSH 會話底部的模型列表中選擇對應的本地模型即可開始對話。

注意事項

  • 版本兼容性: 僅適配 DSH 的 RC 正式分支(當前驗證版本 0.1.5-rc.1),其他分支不保證兼容。
  • 視覺模式: 需使用支持 mmproj 的 llama-server 構建版本,且舊版構建不支持 WebP 圖片,建議轉 PNG/JPEG。
  • 模型切換: 同一插槽更換模型文件後,Provider Key 不會自動更新,需在「設置 → 模型」頁手動刪除舊條目後再重新添加。
  • 組件依賴: 插件不包含 llama-server 本體,也不負責模型下載,需自行準備。

生態背景

DSH 理念是「一切皆插件」,社區目錄由 SkillHub 維護,與 DeepSeek 官方無從屬關係。

相關鏈接

  • 插件目錄: https://www.skillhub.cn/plugins/Lbunc/dsh-local-llm-controller
  • 源碼倉庫: https://github.com/Lbunc/dsh-local-llm-controller
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜