前言¶
在 DeepSeek Harness（DSH）里换模型、换渠道或改系统提示词之后，效果变好还是变差往往只能凭对话体感判断，缺少可复现的记录。社区插件 dsh-intelligence-check（维护者 Lanjunyee，分类：模型推理）面向这一问题：对指定模型主动跑题库、保存回答与 token 用量，支持人工评审和定时检测，并提供闭集范围内的模型归因提示。检测不拦截业务请求，也不改动模型路由。
这是什么¶
dsh-intelligence-check 是 DSH 桌面应用侧的原生「模型质量检测」插件，MIT 许可证，当前包版本 0.3.4（见仓库 package.json）。已在 awesome-dsh-plugin 的 model 分类收录。
一句话定位：给 Harness 里接入的模型做定期体检——跑题、记结果、能人工把关，必要时用 ModelTrace 估算「像哪一类候选模型」。
核心功能¶
内置质量题库¶
插件内置 7 道题，覆盖推理、复述、知识、HTML/SVG 与地图等能力线索：
| ID | 题目 | 自动评估 |
|---|---|---|
milk |
牛奶推理 | 是 |
repeat |
逐字复述 | 否，人工评价 |
japan |
日本首相 | 否，人工评价 |
person |
人物知识 | 否，人工评价 |
html |
HTML/SVG 动画 | 否，人工评价 |
svg |
SVG 创作 | 否，人工评价 |
map |
世界海陆地图 | 否，人工评价 |
其中仅 牛奶推理（milk） 自动评分：最终答案为 46.24，或最后一个带 inches/inch/英寸 单位的数字为 46.24 时通过；首次异常会独立复测一次。其余题目保存原始回答与 token 用量，由用户在界面标「待确认 / 确认通过 / 标记问题」并写备注。
手动检测与定时监测¶
- 手动：在「质量题库」选模型和题目，点「运行」即可。
- 定时：在「模型监测」为目标打开「自动监测」，并在设置里配置间隔；默认关闭，默认间隔 900 秒（15 分钟）。开启后后台按间隔只对已监测目标自动跑
milk，不依赖业务对话。
默认每个模型每天最多 120 次请求（可在设置中调整为 1–10000）。单次请求 max_tokens 为 8192；手动与自动质量检测单轮总超时 10 分钟。
检测记录与导出¶
「检测记录」可查看通过/未通过、失败原因、截断与不可用状态；支持按题目、模型、结果、评审状态筛选，双回答对比，以及筛选结果 JSON 导出。共享数据目录为 $DSH_HOME/dsh-intelligence-check/（未设置 DSH_HOME 时为 ~/.dsh/dsh-intelligence-check/），同一用户各工作目录与 profile 共用一套配置与记录。
ModelTrace（模型归因）¶
对模型跑三条指纹挑战，在闭集候选库（目前 GPT、Claude 两个家族共 18 个候选）内给出排名与家族概率，用于判断「更像哪一类」，不是上游身份认证；真实模型不在库中时会归到最相似候选，不能据此认定身份或自动封锁。
与业务请求的关系¶
工作流可概括为：侧边栏进入原生检测页 → 手动/定时检测 → 插件桥接 → 桌面宿主调用模型 → 保存评估与评审；业务客户端经 DSH 访问上游时不经过检测结果判断。退出 DSH 桌面应用时，插件后台及活动任务一并结束。
安装与启用¶
插件以官方 bundle 分发，使用者不需要 Go、pnpm 或现场编译；检测后台由 DSH 桌面应用 启动。engines.dsh 声明兼容 >=0.2.0 <0.3.0，README 注明实际验收主要在 DSH 0.2.2-rc.1（macOS arm64），并非逐版本全量验证。
下面按 README「30 秒安装」整理步骤：
- 从 最新发行版 下载
dsh-intelligence-check.tgz（通用包），或按平台选择dsh-intelligence-check-<platform>-<arch>.tgz。 - 先启动并完全退出一次 DSH 桌面应用，以初始化 desktop profile（只需做一次）。
- 使用桌面应用「管理 dsh 命令」所安装的
dsh，执行安装（路径换成本机下载文件的绝对路径）：
dsh plugin --profile desktop add /absolute/path/to/dsh-intelligence-check.tgz
DSH 桌面应用固定使用 $DSH_HOME/profiles/desktop（默认 ~/.dsh/profiles/desktop），插件必须装到 desktop profile，才会出现在全局侧边栏。装好后启动桌面应用，在侧边栏点 「模型质量检测」 打开主区域原生页面。
卸载：
dsh plugin --profile desktop remove dsh-intelligence-check
卸载不会删除用户级共享数据目录。Linux x86-64 可选用 dsh-intelligence-check-linux-amd64.tgz 等分平台包，见 README 平台对照表。
典型用法¶
首次使用可按 README 三步走：
- 点 「添加检测目标」，从桌面应用模型目录选一个模型。
- 在 「质量题库」 选模型和题目，点 「运行」。
- 在 「检测记录」 查看回答；不满意则人工评审。若需定时测
milk，在 「模型监测」 打开该目标的自动监测，并在右上角设置中调整间隔与每日上限。
手动检测无需先开自动监测。HTML/SVG 题可在页面内做隔离预览；后台不会执行模型生成的 HTML、SVG 或 Python。
若从 CLI 或 dsh web 打开同一插件页面：只能连接桌面应用已在运行的共享后台；桌面应用未运行时页面会提示后台不可用。
适用场景与注意¶
适合谁
- 经常在 DSH 里切换模型、渠道或提示词，需要可对比的历史记录与少量固定题库回归。
- 希望在桌面应用内完成检测与评审，而非单独维护脚本。
- 需要轻量「像哪类模型」的闭集提示，且理解其统计含义与局限。
使用前务必知晓
- 必须用 DSH 桌面应用 承载检测后台；仅用 CLI /
dsh web无法独立启动全套检测能力。 - 插件以当前 DSH 进程权限运行，安装前应查看 GitHub 仓库 源码与 MIT 许可证。
- 知识题有时效性，单题失败不能证明模型被替换；归因结果不能替代供应商声明或安全策略。
- 内部 Go 控制台与 Cloudflare 临时通道等接口主要面向维护者与既有检查脚本，产品主入口已是 DSH 原生页面。
结尾¶
dsh-intelligence-check 把「换模型后的变化」从主观感受拉回到题库、记录与评审流程上，并与业务流量解耦。需要安装包与完整说明时，可访问社区目录页 skillhub 插件条目 与 GitHub：Lanjunyee/dsh-intelligence-check。
