modelspoke:DeepSeek Harness 本地模型发现与元数据解析插件

前言

DeepSeek Harness (DSH) 的默认自定义提供者配置需要手动编写 provider 块,这对本地模型服务器来说比较繁琐。modelspoke 是一个改进的替代方案,它负责发现服务器和模型,并提供 DSH 默认设置中缺失的能力配置。

什么是 modelspoke

modelspoke 是一个本地 OpenAI 兼容模型服务器发现与分层推理元数据解析插件,用于 DeepSeek Harness (DSH)。它由 americanjeff 维护,旨在替代 DSH 的标准自定义提供者设置。

核心功能

  • llama-swap 和 Ollama 一等支持:插件内置对 llama-swap 和 Ollama 的支持,能够读取它们添加到扩展 OpenAI 兼容端点的能力数据。
  • 常见模型预设:针对不支持完整能力发现的服务器(如 llama-server、vLLM、sglang),提供了常见基础模型的预设表格。
  • 全功能设置 UI:提供易用的设置界面,覆盖日常字段(深度模板合约字段 compat 仍需手动编辑),支持覆盖预设和发现的能力。
  • 推理努力级别:DSH 自定义提供者不支持设置推理努力,modelspoke 可以发现支持的级别并自定义 UI 设置到模型支持的映射。
  • 图像输入:能够发现或指定图像输入能力,解决原生设置中多模态功能不可用的问题。

安装与启用

使用此插件前,需确保 DSH 版本为 0.1.7(已验证于 0.1.7-rc.1)。

  1. 安装 pnpm:
    npm install --global pnpm
  1. 添加插件:
    根据使用的 DSH 配置文件(web 或 headless)执行相应命令:
    dsh plugin --profile web add modelspoke
    dsh plugin --profile headless add modelspoke
  1. 重启 DSH:
    重启 DSH 以加载插件。

典型用法

启动 DSH 后,在左侧侧边栏选择 Plugins,进入 Installed 列表中的 modelspoke 卡片,点击 + Add provider。

配置界面需要填写:
* Provider name(提供者名称)
* Base URL(服务器地址)
* Environment variable name for API key(API Key 的环境变量名,本地无认证服务器可留空)
* Default effort(可选,设置默认推理努力级别)

提交后,点击提供者行旁边的状态点,当模型列表获取成功后变为绿色。点击模型行右侧的箭头,可展开编辑详情(上下文窗口、最大输出 token、推理级别映射、nothink、图像输入等)。

适用场景与注意

  • 适用场景:需要管理本地模型服务器、使用 llama-swap 作为模型能力来源、或需要精细控制推理努力和图像输入能力的用户。
  • 重要注意:插件以当前 DSH 进程的权限运行,安装前建议检查源码。模型列表是策展性质的,只有当模型出现在列表中时,Agent 才能寻址到它;清除详情字段会将该字段释放回解析链。

总结

modelspoke 通过自动发现和元数据解析,简化了 DSH 本地模型的配置流程,增强了推理和图像输入的可配置性。源码与文档位于 GitHub。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜