前言¶
DeepSeek Harness (DSH) 的默认自定义提供者配置需要手动编写 provider 块,这对本地模型服务器来说比较繁琐。modelspoke 是一个改进的替代方案,它负责发现服务器和模型,并提供 DSH 默认设置中缺失的能力配置。
什么是 modelspoke¶
modelspoke 是一个本地 OpenAI 兼容模型服务器发现与分层推理元数据解析插件,用于 DeepSeek Harness (DSH)。它由 americanjeff 维护,旨在替代 DSH 的标准自定义提供者设置。
核心功能¶
- llama-swap 和 Ollama 一等支持:插件内置对 llama-swap 和 Ollama 的支持,能够读取它们添加到扩展 OpenAI 兼容端点的能力数据。
- 常见模型预设:针对不支持完整能力发现的服务器(如 llama-server、vLLM、sglang),提供了常见基础模型的预设表格。
- 全功能设置 UI:提供易用的设置界面,覆盖日常字段(深度模板合约字段
compat仍需手动编辑),支持覆盖预设和发现的能力。 - 推理努力级别:DSH 自定义提供者不支持设置推理努力,modelspoke 可以发现支持的级别并自定义 UI 设置到模型支持的映射。
- 图像输入:能够发现或指定图像输入能力,解决原生设置中多模态功能不可用的问题。
安装与启用¶
使用此插件前,需确保 DSH 版本为 0.1.7(已验证于 0.1.7-rc.1)。
- 安装 pnpm:
npm install --global pnpm
- 添加插件:
根据使用的 DSH 配置文件(web 或 headless)执行相应命令:
dsh plugin --profile web add modelspoke
dsh plugin --profile headless add modelspoke
- 重启 DSH:
重启 DSH 以加载插件。
典型用法¶
启动 DSH 后,在左侧侧边栏选择 Plugins,进入 Installed 列表中的 modelspoke 卡片,点击 + Add provider。
配置界面需要填写:
* Provider name(提供者名称)
* Base URL(服务器地址)
* Environment variable name for API key(API Key 的环境变量名,本地无认证服务器可留空)
* Default effort(可选,设置默认推理努力级别)
提交后,点击提供者行旁边的状态点,当模型列表获取成功后变为绿色。点击模型行右侧的箭头,可展开编辑详情(上下文窗口、最大输出 token、推理级别映射、nothink、图像输入等)。
适用场景与注意¶
- 适用场景:需要管理本地模型服务器、使用 llama-swap 作为模型能力来源、或需要精细控制推理努力和图像输入能力的用户。
- 重要注意:插件以当前 DSH 进程的权限运行,安装前建议检查源码。模型列表是策展性质的,只有当模型出现在列表中时,Agent 才能寻址到它;清除详情字段会将该字段释放回解析链。
总结¶
modelspoke 通过自动发现和元数据解析,简化了 DSH 本地模型的配置流程,增强了推理和图像输入的可配置性。源码与文档位于 GitHub。