dsh-plugin-local-infer:在 DSH 里安装与管理本地推理引擎

dsh-plugin-local-infer 是 cybtachyon 维护的 DeepSeek Harness 模型推理插件,用于配置、估算显存、安装依赖并启动 NInfer、llama.cpp、Hyper-Qwen(vLLM)、Strata 等本地引擎,健康检查通过后注册为 DSH 模型。安装命令为 dsh plugin --profile web add 加 GitHub 仓库 URL;配置持久化在 ~/.dsh/local-infer/config.json。文章基于仓库 README 介绍 Engine settings 面板、VRAM 计量、依赖与 Launch/Register 流程,并说明平台支持与以 dsh 进程权限运行的安全注意。

阅读全文