前言¶

在 DeepSeek Harness（DSH）里接本地模型，常见做法是各自维护启动脚本、环境变量和 YAML，再手动把可用端点登记进 DSH。引擎一换（llama.cpp、NInfer、vLLM 系 Docker 方案等），参数和显存估算又要重新对齐硬件。

dsh-plugin-local-infer 由维护者 cybtachyon 发布，分类为模型推理。它把「选引擎、调参、估显存、装依赖、拉起服务、健康检查、注册为 DSH 模型」收进插件 UI 与后端流程，目标是在本机硬件上比开箱方案更可控地跑本地推理。

这是什么¶

一句话：DSH 插件，用于安装和管理 Strata、NInfer、Hyper-Qwen（vLLM）、llama.cpp 等本地推理服务提供商；配置、估算显存、启动，并把确认可用的引擎发布为 DSH 模型。

仓库 README 写明：面向希望在特定硬件上获得比 Unsloth 开箱更高性能的用户。插件以 Cordis 服务层挂载 Web UI（--profile web），当前包版本为 0.1.1（MIT），README 徽章标注兼容 DSH 0.2.1-alpha.3。

核心功能¶

下面按 README「Using the plugin」归纳，均可在插件面板完成。

引擎与参数¶

Engine settings 卡片挂在 Plugins 页（旧版宿主可能在 Settings 页）。可选引擎与模型，并按字段类型渲染参数：复选框、下拉、滑块、文本、目录选择器，以及聊天模板（已知模板 + 自由文本）。

当前引擎支持情况（README 表格）：

显存估算与硬件告警¶

VRAM Est. 计量条随参数变化估算权重、KV cache、开销与工作区，相对检测到的显卡给出 fits / tight / over，并显示在当前配置下能容纳的最大上下文。

参数值或参数本身对当前硬件不安全时，会出现红色横幅与字段级警告。

系统依赖¶

面板列出缺失的主机依赖（如 docker、CUDA toolkit、ffmpeg、hf CLI 等）：用途说明、可按 OS 复制的安装命令，部分支持一键 Run（sudo）。全部依赖满足前，Get 按钮保持禁用。

启动、注册与持久化¶

• Launch / Stop：Launch 会 clone 或 pull 引擎、下载模型、启动并轮询健康端点；Stop 关闭服务。
• Register / Remove：Register 通过 settings 服务把已确认可用的引擎发布为 DSH 模型（可选设为 agent 默认模型），变更可版本追踪与撤销；Remove 移除登记。
• 配置写入 ~/.dsh/local-infer/config.json；浏览器侧不展示未由本地存储过的值。

安装与启用¶

命令行安装（README 原文）：

dsh plugin --profile web add https://github.com/cybtachyon/dsh-plugin-local-infer

Web UI：打开 Plugins → Add Plugin，粘贴 https://github.com/cybtachyon/dsh-plugin-local-infer。

运行时要求（README）：Node ^22.19.0 || >=24.0.0，pnpm 12.11.2（mise.toml 固定），peer 依赖 @deepseek-ai/cordis >= 4.0.1。

典型用法¶

1. 按上文命令或 Web UI 添加插件，确认 Engine settings 卡片出现。
2. 在依赖面板补齐 docker、CUDA 等项，直至 Get 可用。
3. 选择引擎与模型，调节参数，观察 VRAM Est. 与硬件警告，避免 over 配置。
4. 点击 Launch，等待健康检查通过。
5. 点击 Register，在 DSH 中将该本地端点作为模型使用（可按需设为默认模型）。

停止服务用 Stop；不再使用时可用 Remove 取消模型登记。

适用场景与注意¶

适合谁：已在 DSH 上做智能体或本地模型实验、需要在 NInfer / llama.cpp / Hyper-Qwen Docker 等引擎间切换、又不想手写启动与 YAML 的开发者。

平台（README「Supported Platforms」摘要）：

• Linux（Debian/Ubuntu apt、Arch pacman）：支持。
• Linux Fedora（dnf）：命令集存在，标注未在实机验证。
• macOS（brew）：部分支持，CPU/docker 路径（llama.cpp）；无 NVIDIA Container Toolkit，CUDA 引擎的 docker 路径不可用。
• Windows / WSL2：代码路径部分完成或标注未测；WSL2 会触发 dflash2 pin-memory 相关规则。

DSH 生态强调「一切皆插件」；SkillHub 目录页 为社区收录，与 DeepSeek / 幻方无官方从属关系。

安全与权限：插件以当前 dsh 进程权限执行安装、构建与启动（含可选 sudo 装依赖）。安装前请阅读 GitHub 仓库 源码与 MIT 许可证，确认命令与 Docker 行为符合你的环境策略。

README 另附 Hardware guide 表（能力印象来自 r/LocalLLaMA 讨论），便于对照显卡显存与模型规模；表中为社区经验归纳，非插件实测保证。

结尾¶

dsh-plugin-local-infer 把本地推理引擎的配置、显存估算、依赖补齐、部署与健康检查串成一条可在 DSH 内复用的流程，并在服务就绪后一键注册为 DSH 模型。若你正在 DSH 上接本机推理，可从目录页与仓库 README 对照引擎状态与平台说明后再启用。

• 目录页：https://www.skillhub.cn/plugins/cybtachyon/dsh-plugin-local-infer
• GitHub：https://github.com/cybtachyon/dsh-plugin-local-infer