dsh-slot-health:本地 LLM 端点健康监控

前言

在 DeepSeek Harness (DSH) 的 dsh web 侧边栏中,本地 LLM 端点的健康状态往往只能通过原始日志查看。dsh-slot-health 插件为侧边栏增加了一个实时的健康监控面板。

该插件通过指纹识别技术区分不同的本地引擎(如 llama.cpp 或 Ollama),并在右侧边栏显示具体的槽位状态、服务器指标或模型加载情况。它是一个双面插件(Host + Client),通过 1 秒的采样周期获取数据并渲染。

核心功能

  • 本地端点健康监控:在 DSH Web UI 右侧边栏显示本地 LLM 的实时健康状态。
  • llama.cpp 槽位监控:检测槽位的忙碌状态、首字延迟 (TTFT) 和卡死情况。
  • Ollama 模型监控:区分“已加载”与“空”状态,显示已加载模型的详细信息。
  • 引擎指纹识别:通过响应特征识别后端引擎类型。
  • 卡片展示:显示 SLOT(槽位)、SERVER(服务器)和 MODELS(模型)卡片。
  • 双面插件:包含宿主机端(数据采集)和客户端端(UI 渲染)。

安装与启用

该插件需要 DeepSeek Harness 的 Web 配置文件 (dsh web)。

  1. 使用 DSH CLI 安装插件:
    dsh plugin --profile web add dsh-slot-health
  1. 安装后重启 dsh web 或在浏览器中强制刷新页面。

配置与用法

安装完成后,需在配置文件中指定要监控的本地端点地址。

  1. 编辑 cordis.patch.yml 文件。
  2. 设置 config.origin 指向目标地址。

默认配置 (llama.cpp):

config:
  origin: http://127.0.0.1:8080

Ollama 配置:

config:
  origin: http://127.0.0.1:11434

安装完成后,Web UI 右侧边栏会出现名为 “Slot Health” 的标签页,底部 Dock 栏也会显示对应的状态芯片。

架构与限制

  • 运行时依赖:仅允许在运行时引入冻结的 PLATFORM_MODULES(如 React、Cordis、UI 原语)。
  • 纯只读访问:插件对本地端点仅执行只读操作,不会执行加载、卸载或终止指令。
  • 样式方案:仅使用内联样式,未包含独立的 CSS 文件。
  • 引擎指纹逻辑:
    • llama-cpp:检查 /health 和 /slots 接口。
    • Ollama:检查 /api/version 接口。
    • vllm:检查 /metrics 接口是否包含 vllm: 系列。
    • 未知:若可达但无法识别,标记为 unknown。
  • 技术栈:宿主机端为 ESM,客户端端为 CJS 闭包工厂;构建依赖 React ^19.2.7 和 Node >=20。

总结

dsh-slot-health 通过将本地 LLM 的监控数据结构化地展示在 DSH 右侧边栏,解决了查看原始日志难以快速判断端点状态的问题。它支持 llama.cpp 和 Ollama,并通过指纹识别机制保持扩展的通用性。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜