前言¶
大规模语言模型（LLM）的安全基准常以多选题（MCQ）组织题目，便于自动打分与横向对比。Weapons of Mass Destruction Proxy（WMDP）即属于这类被频繁引用的危险知识代理评测。已有文献记录：同一模型在 MCQ 提示下，拒答（refusal）率往往低于开放式问答；表观分数因而可能偏离部署场景里的实际行为。
缺的是机制层面的解释——分数变差，究竟是 prompt 措辞问题，还是模型内部通路被题型改写。2026 年 11 月 5 日，论文 Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP（arXiv:2611.08639）上传 arXiv；作者 Stepan Epifantsev、Anna Antipova、Oleg Chernikov、Leon Strelkov、Alexey Dontsov 在 WMDP 上对 Llama-3.1-8B 与 Qwen3-8B 给出首批机制证据。论文 Comments 注明已被 BlackboxNLP 2026（EMNLP 2026 workshop）接收，正文 17 页、15 张图。
下面按摘要与 arXiv 公开信息展开，便于做 benchmark 设计与合规汇报的工程同行核对一手来源。
评测对象与对比设置¶
WMDP 通过代理任务探测模型是否掌握与大规模杀伤性武器相关的知识，MCQ 是常见呈现方式之一。本文不把重点放在「哪个模型分数更高」，而是固定语料与模型规模，比较两种题型下内部表征与时序差异。
实验选用的两个 8B 级模型为 Llama-3.1-8B 与 Qwen3-8B。摘要陈述：在 MCQ 条件下，模型会很快把下一 token 承诺为选项字母（answer-letter token）；开放式格式里，拒答相关信号则是逐渐累积。几何上，MCQ 情形下的激活相对「拒答方向」（refusal direction）大约比开放式 counterpart 远 3 倍（roughly 3x further from the refusal direction）。这些表述均来自论文摘要，具体层位与图示需查阅 PDF。
两条机制线索¶
Tuned lens：字母承诺出现得更早¶
作者使用 tuned lens 观察各层对下一 token 的早读。摘要的核心对比是：处理 MCQ 时，表征较快对齐到 A/B/C/D 等字母 token；开放式场景中拒答轨迹抬升更缓。题型在这里不只是改写了用户可见的回复样式，而是把计算推向「选题」子任务，与拒答通路在时间上重叠。
注意力头消融：选题与拒答争抢同一套资源¶
摘要给出干预实验：消融那些承担 MCQ 答案选择（answer-selection）功能的注意力头后，拒答率上升。作者将此表述为 MCQ 答案选择与拒答之间的直接竞争（MCQ answer-selection competes with refusal）。这意味着部分安全表观可以用头级分工解释，而不必全部归因于对齐数据或系统提示词改写。
摘要结论对 MCQ 安全分的含义¶
摘要结尾的判断句需要按原文理解：上述发现表明，MCQ 形式的安全分数主要在衡量知识能力（knowledge capabilities），并不能评估安全机制（safety-mechanisms）。
对依赖 WMDP 等榜单的实验室与监管沟通，实践中宜把读数拆开：
- MCQ 正确率或选项分布：更接近「是否具备相关知识」的能力侧指标；
- 开放式拒答率与拒答质量：更接近对话部署时的策略侧指标。
公开摘要未列出各模型在 WMDP 上的分项准确率表格；对外发布对比结论前，应回到全文核对数字，避免只用机制叙述替代完整评测结果。
对行业评测与分级的客观影响¶
MCQ 降低拒答率并非本文首次提出，摘要明确援引 prior studies。这篇工作的增量在于把现象接到可观测的表征几何与可消融的注意力头上，使「题型改变分数」从经验规律变成可讨论的内部机制命题。
对维护公共安全基准的团队，是否在榜单中并列 open-ended refusal、是否在文档中标注题型对拒答的已知偏倚，属于后续设计问题；测量对象本身需要写进方法说明。对使用 WMDP 做模型分级的机构，若分级门槛仅依据 MCQ 聚合分，需要意识到该分数与「拒答机制是否健全」之间的测量错位——摘要讨论的是题型与测量对象，而非针对单一产品的结论。
引用与复现时，一手标识如下：
Title: Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP
arXiv:2611.08639 [cs.CL] (v1 submitted Thu, 5 Nov 2026)
Subjects: cs.CL; cs.LG
https://arxiv.org/abs/2611.08639
https://doi.org/10.48550/arXiv.2611.08639
经过上面的核对，可以把当前热点归纳为：行业广泛采用的 MCQ 安全测评，在 WMDP 上可能系统性低估拒答通路、高估与知识相关的「安全外观」；机制证据来自双模型对比、tuned lens 与头消融。是否调整 RSP、模型放行或监管所采信的 benchmark 组合，取决于各方如何把能力测评与安全机制测评在流程上解耦。
