前言¶
大規模語言模型（LLM）的安全基準常以多選題（MCQ）組織題目，便於自動打分與橫向對比。Weapons of Mass Destruction Proxy（WMDP）即屬於這類被頻繁引用的危險知識代理評測。已有文獻記錄：同一模型在 MCQ 提示下，拒答（refusal）率往往低於開放式問答；表觀分數因而可能偏離部署場景裏的實際行爲。
缺的是機制層面的解釋——分數變差，究竟是 prompt 措辭問題，還是模型內部通路被題型改寫。2026 年 11 月 5 日，論文 Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP（arXiv:2611.08639）上傳 arXiv；作者 Stepan Epifantsev、Anna Antipova、Oleg Chernikov、Leon Strelkov、Alexey Dontsov 在 WMDP 上對 Llama-3.1-8B 與 Qwen3-8B 給出首批機制證據。論文 Comments 註明已被 BlackboxNLP 2026（EMNLP 2026 workshop）接收，正文 17 頁、15 張圖。
下面按摘要與 arXiv 公開信息展開，便於做 benchmark 設計與合規彙報的工程同行覈對一手來源。
評測對象與對比設置¶
WMDP 通過代理任務探測模型是否掌握與大規模殺傷性武器相關的知識，MCQ 是常見呈現方式之一。本文不把重點放在「哪個模型分數更高」，而是固定語料與模型規模，比較兩種題型下內部表徵與時序差異。
實驗選用的兩個 8B 級模型爲 Llama-3.1-8B 與 Qwen3-8B。摘要陳述：在 MCQ 條件下，模型會很快把下一 token 承諾爲選項字母（answer-letter token）；開放式格式裏，拒答相關信號則是逐漸累積。幾何上，MCQ 情形下的激活相對「拒答方向」（refusal direction）大約比開放式 counterpart 遠 3 倍（roughly 3x further from the refusal direction）。這些表述均來自論文摘要，具體層位與圖示需查閱 PDF。
兩條機制線索¶
Tuned lens：字母承諾出現得更早¶
作者使用 tuned lens 觀察各層對下一 token 的早讀。摘要的核心對比是：處理 MCQ 時，表徵較快對齊到 A/B/C/D 等字母 token；開放式場景中拒答軌跡抬升更緩。題型在這裏不只是改寫了用戶可見的回覆樣式，而是把計算推向「選題」子任務，與拒答通路在時間上重疊。
注意力頭消融：選題與拒答爭搶同一套資源¶
摘要給出干預實驗：消融那些承擔 MCQ 答案選擇（answer-selection）功能的注意力頭後，拒答率上升。作者將此表述爲 MCQ 答案選擇與拒答之間的直接競爭（MCQ answer-selection competes with refusal）。這意味着部分安全表觀可以用頭級分工解釋，而不必全部歸因於對齊數據或系統提示詞改寫。
摘要結論對 MCQ 安全分的含義¶
摘要結尾的判斷句需要按原文理解：上述發現表明，MCQ 形式的安全分數主要在衡量知識能力（knowledge capabilities），並不能評估安全機制（safety-mechanisms）。
對依賴 WMDP 等榜單的實驗室與監管溝通，實踐中宜把讀數拆開：
- MCQ 正確率或選項分佈：更接近「是否具備相關知識」的能力側指標；
- 開放式拒答率與拒答質量：更接近對話部署時的策略側指標。
公開摘要未列出各模型在 WMDP 上的分項準確率表格；對外發布對比結論前，應回到全文覈對數字，避免只用機制敘述替代完整評測結果。
對行業評測與分級的客觀影響¶
MCQ 降低拒答率並非本文首次提出，摘要明確援引 prior studies。這篇工作的增量在於把現象接到可觀測的表徵幾何與可消融的注意力頭上，使「題型改變分數」從經驗規律變成可討論的內部機制命題。
對維護公共安全基準的團隊，是否在榜單中並列 open-ended refusal、是否在文檔中標註題型對拒答的已知偏倚，屬於後續設計問題；測量對象本身需要寫進方法說明。對使用 WMDP 做模型分級的機構，若分級門檻僅依據 MCQ 聚合分，需要意識到該分數與「拒答機制是否健全」之間的測量錯位——摘要討論的是題型與測量對象，而非針對單一產品的結論。
引用與復現時，一手標識如下：
Title: Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP
arXiv:2611.08639 [cs.CL] (v1 submitted Thu, 5 Nov 2026)
Subjects: cs.CL; cs.LG
https://arxiv.org/abs/2611.08639
https://doi.org/10.48550/arXiv.2611.08639
經過上面的核對，可以把當前熱點歸納爲：行業廣泛採用的 MCQ 安全測評，在 WMDP 上可能系統性低估拒答通路、高估與知識相關的「安全外觀」；機制證據來自雙模型對比、tuned lens 與頭消融。是否調整 RSP、模型放行或監管所採信的 benchmark 組合，取決於各方如何把能力測評與安全機制測評在流程上解耦。
