前言¶
DeepSeek Harness (DSH) 的核心理念是“一切皆插件”。对于需要在本地部署模型推理的开发者或用户,管理进程的启动、显存占用以及参数切换是一个常见的痛点。dsh-plugin-local-model 插件直接解决了这些问题,通过在设置页中独立管理本地模型,实现了自动化与资源释放。
插件定位¶
这是一个由 DZQJOKER 维护的 DeepSeek Harness 插件,属于模型推理类别。
核心价值:
在设置里独立的“本地模型”页,首条对话自动拉起 llama.cpp,空闲 5 分钟自动卸载释放资源。
核心功能¶
模型与进程管理¶
- 自动拉起:当用户在设置页中配置好本地 GGUF 模型后,第一条对话会自动拉起 llama.cpp 载入模型。
- 自动卸载:连续 5 分钟无交互时,插件会自动卸载模型并释放显存,减少系统资源占用。
参数预设与切换¶
在设置页顶部提供了一块参数预设区域。用户可以把整套加载/推理参数(含选中的模型与视觉投影)存成带名字的条目。支持存多组、可重命名、可覆盖、可删除,点击一下即可一键切换。
环境与权限隔离¶
- 离线运行:插件不联网拉模型。
- 文件安全:不碰工作区文件。
- 网络监听:除本机回环地址外不监听任何端口。
典型用法¶
- 准备环境:用户需要自行下载所需的 GGUF 模型文件以及 llama 工具,并将它们放入插件规定的目录中。
- 配置模型:在 DSH 的设置中找到“本地模型”页面,添加配置好的模型。
- 配置参数:在设置页顶部的参数预设区域,保存当前的参数配置(包括模型路径、推理参数等)。
- 开始对话:发起第一条对话,llama.cpp 将自动启动并载入模型。
- 释放资源:对话结束后停止输入,5 分钟无交互后模型将自动卸载。
安装与启用¶
目前未提供官方的一键安装命令。建议通过插件目录手动安装或从源码构建。请参考 GitHub 仓库 获取详细的安装步骤。
适用场景与注意¶
- 适用场景:需要本地运行大模型、注重隐私保护(不联网)、或者需要频繁切换不同推理参数的场景。
- 注意:
- 模型和 llama 工具由用户自己下载,需放入指定目录。
- 插件以当前 DSH 进程权限运行,安装前应检查源码与许可证(MIT)。
结语¶
该插件通过自动化拉起与卸载机制,降低了本地模型推理的使用门槛,同时通过参数预设提升了配置效率。对于追求本地化、私有化部署的开发者,这是一个实用的工具。
- 插件目录:dsh-plugin-local-model
- 源码仓库:GitHub