前言¶
大语言模型安全评测里，多选题（MCQ）是常见题型。Weapons of Mass Destruction Proxy（WMDP）等基准也广泛采用该格式。此前工作已经记录：换成 MCQ 后，模型的拒答（refusal）率会下降，这会改变表观上的安全行为。
问题在于，这类分数究竟在测什么。2026 年 11 月 5 日，论文 Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP（arXiv:2611.08639）挂在 arXiv 上，作者 Stepan Epifantsev、Anna Antipova、Oleg Chernikov、Leon Strelkov、Alexey Dontsov 在 WMDP 上对 Llama-3.1-8B 与 Qwen3-8B 做了对比，并给出 MCQ 压低拒答的机制性解释。论文注明已被 BlackboxNLP 2026（EMNLP 2026 workshop）接收。
对做红队、Responsible Scaling Policy（RSP）和 benchmark 设计的团队来说，若 MCQ 分数主要反映「选字母」而非「安全通路」，沿用现有榜单做放行判断就需要重新掂量测量对象。
论文在 WMDP 上对比了什么¶
WMDP 用代理任务评估模型是否具备与大规模杀伤性武器相关的危险知识，是业内常被引用的安全相关基准之一。本文的焦点不是再给出一个笼统的「MCQ 更不安全」结论，而是把同一类题目放在两种提示形态下，观察内部表征如何分叉。
实验对象明确为两个 8B 级指令模型：Meta 的 Llama-3.1-8B 与 Qwen3-8B。作者在摘要中陈述：在 MCQ 条件下，模型会很快敲定答案字母对应的 token；而在开放式（open-ended）格式里，拒答相关的信号则是逐步累积的。两种格式下，激活在「拒答方向」上的几何关系也不同——MCQ 情形下的激活，相比开放式 counterparts，大致处在距离拒答方向约 3 倍更远的位置（摘要原文表述为 roughly 3x further from the refusal direction）。
机制证据：tuned lens 与注意力头消融¶
Tuned lens 看到的时序差异¶
作者用 tuned lens 技术观察中间层如何较早读出下一 token 的语义。摘要的核心叙述是：处理 MCQ 时，模型过早把表征对齐到 A/B/C/D 等选项字母；这与开放式场景中拒答逐渐抬头的轨迹形成对照。读者可以把这理解为：题型本身在要求模型进入「答题模式」，而答题模式与安全拒答在计算图里是竞争关系，而不只是后处理话术不同。
消融实验：谁在和拒答抢通路¶
进一步证据来自注意力头消融。作者指出，去掉那些承担 MCQ 答案选择功能的注意力头之后，拒答会上升。摘要将此表述为 MCQ 答案选择与拒答之间存在直接竞争（MCQ answer-selection competes with refusal）。这不是仅靠改写 prompt 或调高温度能完全解释的表层现象，而是与特定头所承担的任务分工有关。
论文篇幅为 17 页、15 张图（arXiv 页面 Comments 字段），机制链条在正文中有更细的层位与可视化；本文仅依据公开摘要归纳可核对的事实。
对 benchmark 解读的含义¶
摘要的推断句值得原文记牢：这些结果表明，MCQ 形式的安全分数主要在衡量知识能力（knowledge capabilities），而不是在评估安全机制（safety-mechanisms）。
若实验室用 WMDP 等 MCQ 榜单向监管或内部 gate 汇报「已通过」，需要区分两类读数：
- 模型是否在选项中表现出「知道哪句更像正确答案」——更贴近能力测评；
- 模型在开放式对话里是否会拒绝、如何拒绝——更贴近部署态的安全行为。
两者不应在无说明的情况下混为一谈。本文没有给出各模型在 WMDP 上的具体准确率或拒答率表格数字；写实操报告时应回到 PDF 核对分项结果，避免用摘要里的机制结论替代完整指标。
对评测与合规实践的客观影响¶
行业侧已有先例：MCQ 会降低拒答率（摘要引用的 prior studies）。这篇工作补上了机制层：选项字母的早期承诺、表征与拒答方向的分离、以及可部分恢复拒答的头级干预。对 benchmark 维护方，后续是否要并列报告 open-ended refusal、是否拆分「知识 exposure」与「policy compliance」，属于设计选择，但测量对象需要写清楚。
对使用 WMDP 做模型对比的研究者和工程师，实操上至少应保留题型对照：同一语料在 MCQ 与开放式下的行为曲线，并在对外沟通时标明题型。论文 identifier 与一手链接如下，便于复现与引用：
arXiv:2611.08639 [cs.CL]
https://arxiv.org/abs/2611.08639
https://doi.org/10.48550/arXiv.2611.08639
经过上面的步骤，可以把这条热点理解为：主流安全评测里的 MCQ 格式，可能系统性高估「看起来安全」的一面——不是因为模型真更安全，而是因为题型迫使模型先完成选字母，从而压制了开放式场景里更典型的拒答通路。机制证据来自 WMDP 上的双模型实验与头消融；是否调整各 Lab 的扩展政策与监管所依赖的 benchmark，取决于各方如何把「能力分数」与「安全机制」拆开使用。
