前言¶
大語言模型安全評測裏，多選題（MCQ）是常見題型。Weapons of Mass Destruction Proxy（WMDP）等基準也廣泛採用該格式。此前工作已經記錄：換成 MCQ 後，模型的拒答（refusal）率會下降，這會改變表觀上的安全行爲。
問題在於，這類分數究竟在測什麼。2026 年 11 月 5 日，論文 Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP（arXiv:2611.08639）掛在 arXiv 上，作者 Stepan Epifantsev、Anna Antipova、Oleg Chernikov、Leon Strelkov、Alexey Dontsov 在 WMDP 上對 Llama-3.1-8B 與 Qwen3-8B 做了對比，並給出 MCQ 壓低拒答的機制性解釋。論文註明已被 BlackboxNLP 2026（EMNLP 2026 workshop）接收。
對做紅隊、Responsible Scaling Policy（RSP）和 benchmark 設計的團隊來說，若 MCQ 分數主要反映「選字母」而非「安全通路」，沿用現有榜單做放行判斷就需要重新掂量測量對象。
論文在 WMDP 上對比了什麼¶
WMDP 用代理任務評估模型是否具備與大規模殺傷性武器相關的危險知識，是業內常被引用的安全相關基準之一。本文的焦點不是再給出一個籠統的「MCQ 更不安全」結論，而是把同一類題目放在兩種提示形態下，觀察內部表徵如何分叉。
實驗對象明確爲兩個 8B 級指令模型：Meta 的 Llama-3.1-8B 與 Qwen3-8B。作者在摘要中陳述：在 MCQ 條件下，模型會很快敲定答案字母對應的 token；而在開放式（open-ended）格式裏，拒答相關的信號則是逐步累積的。兩種格式下，激活在「拒答方向」上的幾何關係也不同——MCQ 情形下的激活，相比開放式 counterparts，大致處在距離拒答方向約 3 倍更遠的位置（摘要原文表述爲 roughly 3x further from the refusal direction）。
機制證據：tuned lens 與注意力頭消融¶
Tuned lens 看到的時序差異¶
作者用 tuned lens 技術觀察中間層如何較早讀出下一 token 的語義。摘要的核心敘述是：處理 MCQ 時，模型過早把表徵對齊到 A/B/C/D 等選項字母；這與開放式場景中拒答逐漸抬頭的軌跡形成對照。讀者可以把這理解爲：題型本身在要求模型進入「答題模式」，而答題模式與安全拒答在計算圖裏是競爭關係，而不只是後處理話術不同。
消融實驗：誰在和拒答搶通路¶
進一步證據來自注意力頭消融。作者指出，去掉那些承擔 MCQ 答案選擇功能的注意力頭之後，拒答會上升。摘要將此表述爲 MCQ 答案選擇與拒答之間存在直接競爭（MCQ answer-selection competes with refusal）。這不是僅靠改寫 prompt 或調高溫度能完全解釋的表層現象，而是與特定頭所承擔的任務分工有關。
論文篇幅爲 17 頁、15 張圖（arXiv 頁面 Comments 字段），機制鏈條在正文中有更細的層位與可視化；本文僅依據公開摘要歸納可覈對的事實。
對 benchmark 解讀的含義¶
摘要的推斷句值得原文記牢：這些結果表明，MCQ 形式的安全分數主要在衡量知識能力（knowledge capabilities），而不是在評估安全機制（safety-mechanisms）。
若實驗室用 WMDP 等 MCQ 榜單向監管或內部 gate 彙報「已通過」，需要區分兩類讀數：
- 模型是否在選項中表現出「知道哪句更像正確答案」——更貼近能力測評；
- 模型在開放式對話裏是否會拒絕、如何拒絕——更貼近部署態的安全行爲。
兩者不應在無說明的情況下混爲一談。本文沒有給出各模型在 WMDP 上的具體準確率或拒答率表格數字；寫實操報告時應回到 PDF 覈對分項結果，避免用摘要裏的機制結論替代完整指標。
對評測與合規實踐的客觀影響¶
行業側已有先例：MCQ 會降低拒答率（摘要引用的 prior studies）。這篇工作補上了機制層：選項字母的早期承諾、表徵與拒答方向的分離、以及可部分恢復拒答的頭級干預。對 benchmark 維護方，後續是否要並列報告 open-ended refusal、是否拆分「知識 exposure」與「policy compliance」，屬於設計選擇，但測量對象需要寫清楚。
對使用 WMDP 做模型對比的研究者和工程師，實操上至少應保留題型對照：同一語料在 MCQ 與開放式下的行爲曲線，並在對外溝通時標明題型。論文 identifier 與一手鍊接如下，便於復現與引用：
arXiv:2611.08639 [cs.CL]
https://arxiv.org/abs/2611.08639
https://doi.org/10.48550/arXiv.2611.08639
經過上面的步驟，可以把這條熱點理解爲：主流安全評測裏的 MCQ 格式，可能系統性高估「看起來安全」的一面——不是因爲模型真更安全，而是因爲題型迫使模型先完成選字母，從而壓制了開放式場景裏更典型的拒答通路。機制證據來自 WMDP 上的雙模型實驗與頭消融；是否調整各 Lab 的擴展政策與監管所依賴的 benchmark，取決於各方如何把「能力分數」與「安全機制」拆開使用。
