前言¶
DeepSeek Harness (DSH) 采用插件化架构。在本地运行大模型时,通常需要单独维护 llama-server 进程,手动配置端口、模型路径,并在不同的界面间切换。dsh-llamacpp-bridge 插件旨在消除这些中间环节,将本地的 llama.cpp 直接接入 DSH 的模型供应体系,使其像云端模型一样被管理和调用。
插件简介¶
dsh-llamacpp-bridge 是一款将本地 llama.cpp(带 llama-server)转化为 DSH 一流模型提供者的插件。
- 维护者:b8yg7vjstj-ctrl
- 许可:MIT
- 核心价值:统一本地模型管理,提供进程控制、目录同步、自动配对和可视化监控。
核心功能¶
该插件提供以下能力:
1. 提供者角色:将本地 llama.cpp 注册为 DSH 可识别的模型提供者。
2. 模式切换:支持单模型模式和 Router 模式切换。
3. 目录同步:模型列表直接从指定文件夹读取,支持自动重扫和变更检测。
4. 模型切换:换模型时先停旧模型再加载新模型,避免显存残留。
5. 视觉配对:支持 mmproj 视觉投影文件自动配对。
6. 侧边栏监控:提供终端输出监控面板,展示状态、模型切换按钮和滚动日志。
7. 优雅退出:支持 Ctrl+C 优雅退出进程。
8. 热生效:设置修改后支持热生效,无需重启。
安装与启用¶
安装前需确保环境满足要求:DSH (web profile) 和 Node.js 20+,以及本地已安装带有 llama-server 的 llama.cpp。
dsh plugin --profile web add ./dsh-llamacpp-bridge-1.5.0.tgz
安装完成后,必须重启 DSH host 并在浏览器中硬刷新(Cmd/Ctrl + Shift + R),以确保插件客户端脚本正确加载。
典型用法¶
- 启动与配置:重启 DSH 后,在侧边栏「新会话」区域找到 「llama.cpp 终端输出监控」。前往 设置 → llama.cpp,手动指定或确认
llama-server的路径和模型目录。 - 使用模型:在对话界面选择本地模型发送消息。插件会在后台自动启动
llama-server,并在就绪后转发请求。 - 监控与切换:点击侧边栏面板查看当前状态、模型切换按钮和滚动日志。通过面板上的按钮可直接切换模型或刷新列表。
设置项说明¶
在 设置 → llama.cpp 中,可配置以下字段:
| 字段 | 默认值 | 说明 |
|---|---|---|
displayName |
Local llama.cpp (bridge) |
模型选择器中显示的名称 |
executable |
空 | llama-server 可执行文件路径 |
modelsDir |
空 | 模型文件目录 |
host / port |
127.0.0.1 / 8080 |
服务监听地址和端口 |
strategy |
auto |
运行策略:auto / single / router |
contextLength |
— | 传给 -c 的上下文长度 |
autoContext |
false |
是否按可用显存推算上下文 |
gpuLayers |
-1 |
传给 -ngl 的 GPU 层数 |
mmprojSuffix |
-mmproj.gguf |
视觉投影文件后缀命名约定 |
mmprojOverrides |
空 | 手动绑定的模型与投影文件映射 |
additionalArgs |
空 | 额外传递给 llama-server 的参数 |
startTimeoutMs |
120000 |
启动就绪超时时间(毫秒) |
debug |
false |
是否开启调试日志 |
注意事项¶
- 依赖环境:依赖 DSH web profile 和 Node.js 20+。
- 重启机制:安装后必须重启 DSH host 并硬刷新浏览器,否则可能报错。
- 卸载命令:
dsh plugin --profile web remove dsh-llamacpp-bridge。
生态背景¶
DSH 生态强调一切皆插件,社区目录(如 SkillHub)提供插件索引,与官方无隶属关系。
结语¶
该插件通过统一的接口和监控面板,简化了本地 LLM 的接入流程,适合需要在 DSH 中稳定调用本地模型的开发者。