dsh-local-llm-controller:为 DSH 接入本地 llama.cpp 能力

前言

DeepSeek Harness (DSH) 的核心设计理念是「一切皆插件」。对于需要在本地部署大模型的用户,手动维护 llama-server 进程及配置参数往往较为繁琐。dsh-local-llm-controller 插件旨在解决这一问题,它将本地 llama.cpp 服务器无缝集成到 DSH 的设置与模型管理流程中,实现一键启停与配置管理。

插件信息

  • 名称: lbunc/dsh-local-llm-controller
  • 作者: Lbunc
  • 分类: 模型推理
  • 协议: MIT
  • 核心价值: 在「设置→插件」页一键启停本地 llama.cpp 大模型(35B/9B,视觉×文本×快速/长上下文),卡片内配置、一条命令安装、自动注册,装完即用。

安装与启用

使用一条命令即可完成安装与自动注册,无需手动配置:

dsh plugin --profile web add dsh-local-llm-controller

安装完成后重启 DSH Web,插件卡片将自动出现在「设置 → 插件」页面。

核心功能

该插件提供以下能力:
1. 卡片控制: 在设置页一键启停 llama-server,状态栏显示运行日志。
2. 双槽位管理: 支持 A/B 两个模型槽位,各槽位可独立配置模型文件夹路径。
3. 模式切换: 支持文本模式和视觉模式切换。
4. 参数预设: 提供 8 组启动参数组合(2 槽位 × 文本/视觉 × 快速/长上下文),支持手动编辑。
5. 自动注册: 自动管理服务器端口与参数,无需手动配置文件。
6. 多语言适配: 卡片界面文案跟随 DSH Web 的语言设置。

使用流程

  1. 配置插件: 在插件卡片中填写 llama.cpp 目录(包含 llama-server.exe)、端口(默认 55555)和 密钥。
  2. 配置模型槽位: 在「槽位 A / B」配置区填入模型文件夹路径(含 GGUF 文件及视觉模式的 mmproj 文件),点击保存。
  3. 添加到模型列表: 保存配置后,文件夹内的 GGUF 模型将显示为气泡。点击选中一个模型,再次点击「添加到模型列表」。
  4. 编辑参数: 在「启动参数」区域选择或编辑 8 组参数之一。基础参数已预填,插件自动管理 -m、-a、--port 等参数,无需手动添加。
  5. 启动服务: 在卡片底部选择槽位、模式及参数预设,点击「启动」。
  6. 对话: 服务启动后,在 DSH 会话底部的模型列表中选择对应的本地模型即可开始对话。

注意事项

  • 版本兼容性: 仅适配 DSH 的 RC 正式分支(当前验证版本 0.1.5-rc.1),其他分支不保证兼容。
  • 视觉模式: 需使用支持 mmproj 的 llama-server 构建版本,且旧版构建不支持 WebP 图片,建议转 PNG/JPEG。
  • 模型切换: 同一插槽更换模型文件后,Provider Key 不会自动更新,需在「设置 → 模型」页手动删除旧条目后再重新添加。
  • 组件依赖: 插件不包含 llama-server 本体,也不负责模型下载,需自行准备。

生态背景

DSH 理念是「一切皆插件」,社区目录由 SkillHub 维护,与 DeepSeek 官方无从属关系。

相关链接

  • 插件目录: https://www.skillhub.cn/plugins/Lbunc/dsh-local-llm-controller
  • 源码仓库: https://github.com/Lbunc/dsh-local-llm-controller
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜