dsh-llamacpp-bridge:将本地 llama.cpp 转为 DSH 一流模型提供者

前言

DeepSeek Harness (DSH) 采用插件化架构。在本地运行大模型时,通常需要单独维护 llama-server 进程,手动配置端口、模型路径,并在不同的界面间切换。dsh-llamacpp-bridge 插件旨在消除这些中间环节,将本地的 llama.cpp 直接接入 DSH 的模型供应体系,使其像云端模型一样被管理和调用。

插件简介

dsh-llamacpp-bridge 是一款将本地 llama.cpp(带 llama-server)转化为 DSH 一流模型提供者的插件。

  • 维护者:b8yg7vjstj-ctrl
  • 许可:MIT
  • 核心价值:统一本地模型管理,提供进程控制、目录同步、自动配对和可视化监控。

核心功能

该插件提供以下能力:
1. 提供者角色:将本地 llama.cpp 注册为 DSH 可识别的模型提供者。
2. 模式切换:支持单模型模式和 Router 模式切换。
3. 目录同步:模型列表直接从指定文件夹读取,支持自动重扫和变更检测。
4. 模型切换:换模型时先停旧模型再加载新模型,避免显存残留。
5. 视觉配对:支持 mmproj 视觉投影文件自动配对。
6. 侧边栏监控:提供终端输出监控面板,展示状态、模型切换按钮和滚动日志。
7. 优雅退出:支持 Ctrl+C 优雅退出进程。
8. 热生效:设置修改后支持热生效,无需重启。

安装与启用

安装前需确保环境满足要求:DSH (web profile) 和 Node.js 20+,以及本地已安装带有 llama-server 的 llama.cpp。

dsh plugin --profile web add ./dsh-llamacpp-bridge-1.5.0.tgz

安装完成后,必须重启 DSH host 并在浏览器中硬刷新(Cmd/Ctrl + Shift + R),以确保插件客户端脚本正确加载。

典型用法

  1. 启动与配置:重启 DSH 后,在侧边栏「新会话」区域找到 「llama.cpp 终端输出监控」。前往 设置 → llama.cpp,手动指定或确认 llama-server 的路径和模型目录。
  2. 使用模型:在对话界面选择本地模型发送消息。插件会在后台自动启动 llama-server,并在就绪后转发请求。
  3. 监控与切换:点击侧边栏面板查看当前状态、模型切换按钮和滚动日志。通过面板上的按钮可直接切换模型或刷新列表。

设置项说明

在 设置 → llama.cpp 中,可配置以下字段:

字段 默认值 说明
displayName Local llama.cpp (bridge) 模型选择器中显示的名称
executable 空 llama-server 可执行文件路径
modelsDir 空 模型文件目录
host / port 127.0.0.1 / 8080 服务监听地址和端口
strategy auto 运行策略:auto / single / router
contextLength — 传给 -c 的上下文长度
autoContext false 是否按可用显存推算上下文
gpuLayers -1 传给 -ngl 的 GPU 层数
mmprojSuffix -mmproj.gguf 视觉投影文件后缀命名约定
mmprojOverrides 空 手动绑定的模型与投影文件映射
additionalArgs 空 额外传递给 llama-server 的参数
startTimeoutMs 120000 启动就绪超时时间(毫秒)
debug false 是否开启调试日志

注意事项

  • 依赖环境:依赖 DSH web profile 和 Node.js 20+。
  • 重启机制:安装后必须重启 DSH host 并硬刷新浏览器,否则可能报错。
  • 卸载命令:dsh plugin --profile web remove dsh-llamacpp-bridge。

生态背景

DSH 生态强调一切皆插件,社区目录(如 SkillHub)提供插件索引,与官方无隶属关系。

结语

该插件通过统一的接口和监控面板,简化了本地 LLM 的接入流程,适合需要在 DSH 中稳定调用本地模型的开发者。

项目地址:
* GitHub
* 插件目录

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜