dsh-llamacpp-bridge:將本地 llama.cpp 轉爲 DSH 一流模型提供者

前言

DeepSeek Harness (DSH) 採用插件化架構。在本地運行大模型時,通常需要單獨維護 llama-server 進程,手動配置端口、模型路徑,並在不同的界面間切換。dsh-llamacpp-bridge 插件旨在消除這些中間環節,將本地的 llama.cpp 直接接入 DSH 的模型供應體系,使其像雲端模型一樣被管理和調用。

插件簡介

dsh-llamacpp-bridge 是一款將本地 llama.cpp(帶 llama-server)轉化爲 DSH 一流模型提供者的插件。

  • 維護者:b8yg7vjstj-ctrl
  • 許可:MIT
  • 核心價值:統一本地模型管理,提供進程控制、目錄同步、自動配對和可視化監控。

核心功能

該插件提供以下能力:
1. 提供者角色:將本地 llama.cpp 註冊爲 DSH 可識別的模型提供者。
2. 模式切換:支持單模型模式和 Router 模式切換。
3. 目錄同步:模型列表直接從指定文件夾讀取,支持自動重掃和變更檢測。
4. 模型切換:換模型時先停舊模型再加載新模型,避免顯存殘留。
5. 視覺配對:支持 mmproj 視覺投影文件自動配對。
6. 側邊欄監控:提供終端輸出監控面板,展示狀態、模型切換按鈕和滾動日誌。
7. 優雅退出:支持 Ctrl+C 優雅退出進程。
8. 熱生效:設置修改後支持熱生效,無需重啓。

安裝與啓用

安裝前需確保環境滿足要求:DSH (web profile) 和 Node.js 20+,以及本地已安裝帶有 llama-server 的 llama.cpp。

dsh plugin --profile web add ./dsh-llamacpp-bridge-1.5.0.tgz

安裝完成後,必須重啓 DSH host 並在瀏覽器中硬刷新(Cmd/Ctrl + Shift + R),以確保插件客戶端腳本正確加載。

典型用法

  1. 啓動與配置:重啓 DSH 後,在側邊欄「新會話」區域找到 「llama.cpp 終端輸出監控」。前往 設置 → llama.cpp,手動指定或確認 llama-server 的路徑和模型目錄。
  2. 使用模型:在對話界面選擇本地模型發送消息。插件會在後臺自動啓動 llama-server,並在就緒後轉發請求。
  3. 監控與切換:點擊側邊欄面板查看當前狀態、模型切換按鈕和滾動日誌。通過面板上的按鈕可直接切換模型或刷新列表。

設置項說明

在 設置 → llama.cpp 中,可配置以下字段:

字段 默認值 說明
displayName Local llama.cpp (bridge) 模型選擇器中顯示的名稱
executable 空 llama-server 可執行文件路徑
modelsDir 空 模型文件目錄
host / port 127.0.0.1 / 8080 服務監聽地址和端口
strategy auto 運行策略:auto / single / router
contextLength — 傳給 -c 的上下文長度
autoContext false 是否按可用顯存推算上下文
gpuLayers -1 傳給 -ngl 的 GPU 層數
mmprojSuffix -mmproj.gguf 視覺投影文件後綴命名約定
mmprojOverrides 空 手動綁定的模型與投影文件映射
additionalArgs 空 額外傳遞給 llama-server 的參數
startTimeoutMs 120000 啓動就緒超時時間(毫秒)
debug false 是否開啓調試日誌

注意事項

  • 依賴環境:依賴 DSH web profile 和 Node.js 20+。
  • 重啓機制:安裝後必須重啓 DSH host 並硬刷新瀏覽器,否則可能報錯。
  • 卸載命令:dsh plugin --profile web remove dsh-llamacpp-bridge。

生態背景

DSH 生態強調一切皆插件,社區目錄(如 SkillHub)提供插件索引,與官方無隸屬關係。

結語

該插件通過統一的接口和監控面板,簡化了本地 LLM 的接入流程,適合需要在 DSH 中穩定調用本地模型的開發者。

項目地址:
* GitHub
* 插件目錄

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜