DeepSeek Harness 本地模型插件介绍

前言

DeepSeek Harness (DSH) 的核心理念是“一切皆插件”。对于需要在本地部署模型推理的开发者或用户,管理进程的启动、显存占用以及参数切换是一个常见的痛点。dsh-plugin-local-model 插件直接解决了这些问题,通过在设置页中独立管理本地模型,实现了自动化与资源释放。

插件定位

这是一个由 DZQJOKER 维护的 DeepSeek Harness 插件,属于模型推理类别。

核心价值:
在设置里独立的“本地模型”页,首条对话自动拉起 llama.cpp,空闲 5 分钟自动卸载释放资源。

核心功能

模型与进程管理

  • 自动拉起:当用户在设置页中配置好本地 GGUF 模型后,第一条对话会自动拉起 llama.cpp 载入模型。
  • 自动卸载:连续 5 分钟无交互时,插件会自动卸载模型并释放显存,减少系统资源占用。

参数预设与切换

在设置页顶部提供了一块参数预设区域。用户可以把整套加载/推理参数(含选中的模型与视觉投影)存成带名字的条目。支持存多组、可重命名、可覆盖、可删除,点击一下即可一键切换。

环境与权限隔离

  • 离线运行:插件不联网拉模型。
  • 文件安全:不碰工作区文件。
  • 网络监听:除本机回环地址外不监听任何端口。

典型用法

  1. 准备环境:用户需要自行下载所需的 GGUF 模型文件以及 llama 工具,并将它们放入插件规定的目录中。
  2. 配置模型:在 DSH 的设置中找到“本地模型”页面,添加配置好的模型。
  3. 配置参数:在设置页顶部的参数预设区域,保存当前的参数配置(包括模型路径、推理参数等)。
  4. 开始对话:发起第一条对话,llama.cpp 将自动启动并载入模型。
  5. 释放资源:对话结束后停止输入,5 分钟无交互后模型将自动卸载。

安装与启用

目前未提供官方的一键安装命令。建议通过插件目录手动安装或从源码构建。请参考 GitHub 仓库 获取详细的安装步骤。

适用场景与注意

  • 适用场景:需要本地运行大模型、注重隐私保护(不联网)、或者需要频繁切换不同推理参数的场景。
  • 注意:
    • 模型和 llama 工具由用户自己下载,需放入指定目录。
    • 插件以当前 DSH 进程权限运行,安装前应检查源码与许可证(MIT)。

结语

该插件通过自动化拉起与卸载机制,降低了本地模型推理的使用门槛,同时通过参数预设提升了配置效率。对于追求本地化、私有化部署的开发者,这是一个实用的工具。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜