前言¶
DeepSeek Harness (DSH) 的核心设计理念是「一切皆插件」。对于需要在本地部署大模型的用户,手动维护 llama-server 进程及配置参数往往较为繁琐。dsh-local-llm-controller 插件旨在解决这一问题,它将本地 llama.cpp 服务器无缝集成到 DSH 的设置与模型管理流程中,实现一键启停与配置管理。
插件信息¶
- 名称: lbunc/dsh-local-llm-controller
- 作者: Lbunc
- 分类: 模型推理
- 协议: MIT
- 核心价值: 在「设置→插件」页一键启停本地 llama.cpp 大模型(35B/9B,视觉×文本×快速/长上下文),卡片内配置、一条命令安装、自动注册,装完即用。
安装与启用¶
使用一条命令即可完成安装与自动注册,无需手动配置:
dsh plugin --profile web add dsh-local-llm-controller
安装完成后重启 DSH Web,插件卡片将自动出现在「设置 → 插件」页面。
核心功能¶
该插件提供以下能力:
1. 卡片控制: 在设置页一键启停 llama-server,状态栏显示运行日志。
2. 双槽位管理: 支持 A/B 两个模型槽位,各槽位可独立配置模型文件夹路径。
3. 模式切换: 支持文本模式和视觉模式切换。
4. 参数预设: 提供 8 组启动参数组合(2 槽位 × 文本/视觉 × 快速/长上下文),支持手动编辑。
5. 自动注册: 自动管理服务器端口与参数,无需手动配置文件。
6. 多语言适配: 卡片界面文案跟随 DSH Web 的语言设置。
使用流程¶
- 配置插件: 在插件卡片中填写
llama.cpp 目录(包含llama-server.exe)、端口(默认 55555)和密钥。 - 配置模型槽位: 在「槽位 A / B」配置区填入模型文件夹路径(含 GGUF 文件及视觉模式的
mmproj文件),点击保存。 - 添加到模型列表: 保存配置后,文件夹内的 GGUF 模型将显示为气泡。点击选中一个模型,再次点击「添加到模型列表」。
- 编辑参数: 在「启动参数」区域选择或编辑 8 组参数之一。基础参数已预填,插件自动管理
-m、-a、--port等参数,无需手动添加。 - 启动服务: 在卡片底部选择槽位、模式及参数预设,点击「启动」。
- 对话: 服务启动后,在 DSH 会话底部的模型列表中选择对应的本地模型即可开始对话。
注意事项¶
- 版本兼容性: 仅适配 DSH 的 RC 正式分支(当前验证版本 0.1.5-rc.1),其他分支不保证兼容。
- 视觉模式: 需使用支持
mmproj的 llama-server 构建版本,且旧版构建不支持 WebP 图片,建议转 PNG/JPEG。 - 模型切换: 同一插槽更换模型文件后,Provider Key 不会自动更新,需在「设置 → 模型」页手动删除旧条目后再重新添加。
- 组件依赖: 插件不包含
llama-server本体,也不负责模型下载,需自行准备。
生态背景¶
DSH 理念是「一切皆插件」,社区目录由 SkillHub 维护,与 DeepSeek 官方无从属关系。
相关链接¶
- 插件目录: https://www.skillhub.cn/plugins/Lbunc/dsh-local-llm-controller
- 源码仓库: https://github.com/Lbunc/dsh-local-llm-controller