@richie.liu/dsh-hybrid-coder:双模型路由策略插件

前言

在开发 DeepSeek Harness (DSH) 代理时,为所有步骤使用昂贵的高级模型既浪费资源,又可能降低响应速度。本地模型成本更低,但在复杂规划或错误恢复方面可能能力不足。@richie.liu/dsh-hybrid-coder 插件实现了双模型路由策略:高级模型处理计划和紧急情况,而本地小模型(如 Ollama)执行普通步骤。

核心功能

该插件是一个路由策略,而非模型传输。它通过重写每一步请求的目标 provider/model 来控制路由。主要功能包括:

  • 双模型路由:根据优先级(计划模式或升级触发器)在高级和本地路由之间切换。
  • 计划模式升级:当计划模式处于活动状态时,强制使用高级模型。
  • 连续失败阈值:如果本地模型在单轮对话中连续工具执行失败达到阈值,则升级到高级模型。
  • 请求级回退:处理本地提供商的传输级故障(如超时或连接拒绝)。
  • 降级:在高级模型成功执行特定次数后,自动降级回本地模型。
  • 系统提示身份同步:确保系统提示反映当前路由,以避免身份混淆。

安装与启用

使用官方安装命令将该插件添加到目标配置文件中。

dsh plugin --profile web add @richie.liu/dsh-hybrid-coder

配置与用法

在 DSH 的配置文件中定义 premium 和 local 路由。premium.provider 和 local.provider 必须是已注册的 LLM 适配器路由。

- id: hybrid-coder
  name: '@richie.liu/dsh-hybrid-coder'
  config:
    premium:
      provider: glm
      model: glm-4-plus
      reasoningEffort: high        # 可选,未设置则使用提供商默认值
    local:
      provider: ollama
      model: qwen2.5-coder:7b
    escalation:
      failureThreshold: 2                  # 单轮对话中连续失败的阈值
      premiumStepsBeforeDeescalation: 2    # 连续成功的高级模型步骤阈值

注意事项

  • 实验性状态:该插件处于实验阶段。公开契约可能会改变,且它未随官方发布附带。
  • 配置容错:未知配置键在加载时会失败。
  • 已知限制:在请求级回退期间,系统提示中的身份文本可能会出现短暂的“方向性偏移”(即切换到高级模型后,身份文本仍可能短暂引用本地模型),这是由于重试步骤的上下文引起的,属于良性偏移。
  • 许可证:MIT 许可证。

总结

该插件允许您在 DSH 代理中实现成本效益和可靠性的平衡。更多技术细节和源码,请参考 GitHub 仓库。

羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

小夜