前言¶
在 DeepSeek Harness (DSH) 的 dsh web 侧边栏中,本地 LLM 端点的健康状态往往只能通过原始日志查看。dsh-slot-health 插件为侧边栏增加了一个实时的健康监控面板。
该插件通过指纹识别技术区分不同的本地引擎(如 llama.cpp 或 Ollama),并在右侧边栏显示具体的槽位状态、服务器指标或模型加载情况。它是一个双面插件(Host + Client),通过 1 秒的采样周期获取数据并渲染。
核心功能¶
- 本地端点健康监控:在 DSH Web UI 右侧边栏显示本地 LLM 的实时健康状态。
- llama.cpp 槽位监控:检测槽位的忙碌状态、首字延迟 (TTFT) 和卡死情况。
- Ollama 模型监控:区分“已加载”与“空”状态,显示已加载模型的详细信息。
- 引擎指纹识别:通过响应特征识别后端引擎类型。
- 卡片展示:显示 SLOT(槽位)、SERVER(服务器)和 MODELS(模型)卡片。
- 双面插件:包含宿主机端(数据采集)和客户端端(UI 渲染)。
安装与启用¶
该插件需要 DeepSeek Harness 的 Web 配置文件 (dsh web)。
- 使用 DSH CLI 安装插件:
dsh plugin --profile web add dsh-slot-health
- 安装后重启
dsh web或在浏览器中强制刷新页面。
配置与用法¶
安装完成后,需在配置文件中指定要监控的本地端点地址。
- 编辑
cordis.patch.yml文件。 - 设置
config.origin指向目标地址。
默认配置 (llama.cpp):
config:
origin: http://127.0.0.1:8080
Ollama 配置:
config:
origin: http://127.0.0.1:11434
安装完成后,Web UI 右侧边栏会出现名为 “Slot Health” 的标签页,底部 Dock 栏也会显示对应的状态芯片。
架构与限制¶
- 运行时依赖:仅允许在运行时引入冻结的
PLATFORM_MODULES(如 React、Cordis、UI 原语)。 - 纯只读访问:插件对本地端点仅执行只读操作,不会执行加载、卸载或终止指令。
- 样式方案:仅使用内联样式,未包含独立的 CSS 文件。
- 引擎指纹逻辑:
- llama-cpp:检查
/health和/slots接口。 - Ollama:检查
/api/version接口。 - vllm:检查
/metrics接口是否包含vllm:系列。 - 未知:若可达但无法识别,标记为
unknown。
- llama-cpp:检查
- 技术栈:宿主机端为 ESM,客户端端为 CJS 闭包工厂;构建依赖 React ^19.2.7 和 Node >=20。
总结¶
dsh-slot-health 通过将本地 LLM 的监控数据结构化地展示在 DSH 右侧边栏,解决了查看原始日志难以快速判断端点状态的问题。它支持 llama.cpp 和 Ollama,并通过指纹识别机制保持扩展的通用性。