前言¶
在开发 DeepSeek Harness (DSH) 代理时,为所有步骤使用昂贵的高级模型既浪费资源,又可能降低响应速度。本地模型成本更低,但在复杂规划或错误恢复方面可能能力不足。@richie.liu/dsh-hybrid-coder 插件实现了双模型路由策略:高级模型处理计划和紧急情况,而本地小模型(如 Ollama)执行普通步骤。
核心功能¶
该插件是一个路由策略,而非模型传输。它通过重写每一步请求的目标 provider/model 来控制路由。主要功能包括:
- 双模型路由:根据优先级(计划模式或升级触发器)在高级和本地路由之间切换。
- 计划模式升级:当计划模式处于活动状态时,强制使用高级模型。
- 连续失败阈值:如果本地模型在单轮对话中连续工具执行失败达到阈值,则升级到高级模型。
- 请求级回退:处理本地提供商的传输级故障(如超时或连接拒绝)。
- 降级:在高级模型成功执行特定次数后,自动降级回本地模型。
- 系统提示身份同步:确保系统提示反映当前路由,以避免身份混淆。
安装与启用¶
使用官方安装命令将该插件添加到目标配置文件中。
dsh plugin --profile web add @richie.liu/dsh-hybrid-coder
配置与用法¶
在 DSH 的配置文件中定义 premium 和 local 路由。premium.provider 和 local.provider 必须是已注册的 LLM 适配器路由。
- id: hybrid-coder
name: '@richie.liu/dsh-hybrid-coder'
config:
premium:
provider: glm
model: glm-4-plus
reasoningEffort: high # 可选,未设置则使用提供商默认值
local:
provider: ollama
model: qwen2.5-coder:7b
escalation:
failureThreshold: 2 # 单轮对话中连续失败的阈值
premiumStepsBeforeDeescalation: 2 # 连续成功的高级模型步骤阈值
注意事项¶
- 实验性状态:该插件处于实验阶段。公开契约可能会改变,且它未随官方发布附带。
- 配置容错:未知配置键在加载时会失败。
- 已知限制:在请求级回退期间,系统提示中的身份文本可能会出现短暂的“方向性偏移”(即切换到高级模型后,身份文本仍可能短暂引用本地模型),这是由于重试步骤的上下文引起的,属于良性偏移。
- 许可证:MIT 许可证。
总结¶
该插件允许您在 DSH 代理中实现成本效益和可靠性的平衡。更多技术细节和源码,请参考 GitHub 仓库。