DeepSeek Harness 插件:ark-auto-check

前言

在火山方舟的 Agent Plan 中选择 Auto 后,API 返回的 model 字段始终为 "auto",无法直接获知实际路由目标。这对需要精确控制模型行为或排查路由异常的开发者来说,是一个明确的盲区。

DeepSeek Harness(DSH)提供了一个名为 ark-auto-check 的插件,通过采样与指纹比对的方式,推断 Auto 入口当前指向的具体模型。

插件定位

ark-auto-check 是 DSH 的一个技能插件,由维护者 1w1w11w1 开发。它只用于识别火山方舟 Agent Plan 中候选清单(16 个模型)内的模型归属,不涉及计划外模型、中转站或其它厂商的模型。

核心价值是:在无法直接获取路由信息的情况下,给出「AUTO 当前路由到哪个模型」的结论与置信度。

核心功能

探针采样与指纹比对

插件提供一个技能 auto-router-check。执行时会对 AUTO 入口(ark-code-latest)发起约 150 次请求,每次提示词为「请从 1 到 355 之间随机选择一个数字」,并附带随机 nonce 防止缓存。

探针通过以下方式得出结论:

  • 主信号:使用 cos·e^-JSD 衡量请求分布与候选模型的指纹相似度,并结合 G 检验进行统计显著性判断
  • 辅助信号:推理语言、推理长度、tokenizer 签名
  • 混合路由检测:使用 EM(精确匹配)与 BIC(贝叶斯信息准则)判断是否存在混合路由

会话内查询

在任意 DSH 会话中直接询问「auto 现在路由到哪个模型」,会话会派出子代理执行上述探针,并在约 3–10 分钟后返回结论、置信度与 Top5 排名。

范围限定

插件明确限定在 Agent Plan 的候选模型范围内:

  • ✅ 在范围内:AUTO 归属判定;计划内模型之间的自检式比对(使用 --target 抽查);指纹库覆盖查询
  • ❌ 不在范围内:计划外模型(其它厂商 / Coding Plan / 按量平台 / 第三方中转站 / 自建服务)、中转站是否偷换模型、来源鉴定与维权、能力测评或榜单

探针脚本内置断言:--target 只接受 ark-code-latest 或 16 个计划内模型,baselines.json 包含计划外模型时会直接拒绝执行(exit 3)。

安装与启用

通过官方命令安装:

dsh plugin add 1w1w11w1/ark-auto-check

或在 DSH 的插件市场 / Skills 界面按仓库地址安装。插件以 dsh.bundle 形式注册技能,安装后需重启会话即可生效。

手动方式:将 skills/auto-router-check/ 复制到 ~/.dsh/skills/(Windows:%USERPROFILE%\.dsh\skills\)同样可用。

使用前提

  • 本机已安装并登录 arkcli,且持有火山方舟 Agent Plan
  • 探针运行时从 arkcli profile apikey get 读取凭证;也可通过 --api-key 或环境变量 AUTO_PROBE_API_KEY 显式传入
  • Python 3.10+(探针仅使用标准库)

隐私与更新

  • 仓库内不含任何凭证、API Key、本机路径或用户信息;凭证只在运行该技能的本机上从 arkcli 临时读取,不回传
  • 探针只向模型发送随机数提示词,不携带任何会话或用户数据
  • baselines.json 为各候选模型公开行为的统计指纹(分布计数与延迟 / token 统计),无个人信息
  • 指纹库采集于 2026-10-23(16 模型 × 约 400 次主探针 + 辅助探针);若结论异常(所有候选得分都低),可能是指纹库过期,拉取本仓库更新即可

适用场景

  • 需要精确确认 Auto 路由目标,用于调试或审计
  • 在计划内候选模型之间进行自检式比对(使用 --target 参数抽查)
  • 需要快速获得 AUTO 路由的 Top5 候选模型排名

注意事项

  • 插件以当前 DSH 进程权限运行,安装前应检查源码与许可证
  • 结论是「当下时点」的结果;官方调整路由后需重跑探针
  • 插件不保证 100% 准确,仅提供基于指纹比对的推断,请结合其它信息综合判断

结尾

ark-auto-check 为火山方舟 Agent Plan 的 Auto 路由提供了可操作的排查手段。如果你在开发中需要精确知道「Auto 到底在用哪个模型」,可以参考目录页与 GitHub 仓库获取更多信息。

  • 目录页:https://www.skillhub.cn/plugins/1w1w11w1/ark-auto-check
  • GitHub:https://github.com/1w1w11w1/ark-auto-check
羽毛球分组比赛记分
小程序二维码

欢迎使用《羽毛球分组比赛记分》微信小程序

Xiaoye