前言¶
DeepSeek Harness (DSH) 的核心设计理念是“一切皆插件”。在模型推理场景下,手动为不同请求配置推理级别(如 Off、Low、Medium、High)既繁琐,又可能因频繁切换模型或配置而带来额外的延迟与资源开销。dsh-adaptive-reasoning 插件旨在解决这一痛点,它能在不进行额外的模型调用、不维持 GPU 激活或运行后台任务的情况下,自动为每个请求选择合适的推理级别。
插件简介¶
这是一个由 Manolo Remiddi 维护的独立插件,专注于 DeepSeek Harness 的模型推理自动化。它不需要训练好的分类器模型,而是通过本地规则识别任务族,并利用 DSH 现有的模型进行推理级别的自动选择。
核心功能¶
- 自动推理选择:插件会根据任务类型自动选择推理级别。它利用现有模型进行判断,而不是引入新的分类器。
- 任务族识别:能够识别具有特定规则的本地任务族(例如对话问候、文本重写、摘要、提示词改进等),并应用相应的本地规则。
- 决策记录与度量:在请求处理过程中,插件会在侧车文件中记录推理决策(
adaptive-reasoning/decision)以及时间和字符统计(adaptive-reasoning/measurement),不复制提示或回答的原始文本。 - 生命周期集成:支持 DSH 的生命周期钩子和请求钩子,以及工具防护机制。
- 灵活配置:支持通过
enabled、textOnly、presets和routes等配置项进行控制。
安装与启用¶
安装前请确保已安装 Node.js (>=22.18.0) 并完成 DSH 环境的部署。
- 打包插件:进入插件源码目录,执行打包命令。
npm pack
这将生成 `dsh-adaptive-reasoning-0.2.3.tgz` 文件。
- 添加插件:使用
dsh plugin命令将生成的 tarball 安装到 DSH 中。
dsh plugin --profile web add /absolute/path/dsh-adaptive-reasoning-0.2.3.tgz --ignore-scripts --config.auto-install-peers=false
*注意:路径请替换为实际的绝对路径。安装后需要重启 DSH 才能生效,且安装前应完成所有正在运行的任务。*
典型用法¶
插件配置完成后,无需在每次请求时手动调整推理级别。可以通过以下方式进行调试和验证:
- 读取报告:使用提供的报告脚本读取侧车文件中的决策和测量数据。
npm run report
默认情况下,该命令读取当前和之前的侧车文件。
- 配置路由:需要在配置中定义具体的提供者/模型/努力级别映射。插件会根据这些规则自动管理路由上的推理级别,而不改变未配置的路由。
适用场景与注意事项¶
- 适用场景:需要自动化推理级别管理的场景,特别是希望减少手动干预、避免频繁切换模型配置的开发者。
- 保守预览:当前版本(0.2.3)为保守的预览版,并非经过充分训练或完美的难度估计器。
- 不保证语义正确性:插件不会保证最终答案的语义正确性或验证每一个答案。
- 模型配置依赖:要启用自动努力级别更改,必须为模型设置特定的配置。
- 日志位置:诊断日志存储在
$XDG_STATE_HOME/dsh-adaptive-reasoning/telemetry.l。 - 权限与回放:插件未引入自动重放已完成操作或放宽权限的功能。
总结¶
dsh-adaptive-reasoning 为 DSH 用户提供了自动推理管理的方案,通过本地规则和侧车文件记录实现了轻量级的自动化。如果你正在寻找一种减少手动配置、提升推理效率的方法,可以参考其 GitHub 仓库 进行试用。