前言¶
實驗室裏每天用到的往往是凝膠條帶、培養皿照片、顯微鏡序列和儀器導出表，而不是論文裏挑過的「乾淨」圖。失敗電泳、標籤貼錯、通道串擾、對照設計有漏洞——這類噪聲和排錯纔是溼實驗分析的主體。現有不少科學評測更偏向出版物級圖表，對「日常判讀 + 糾錯」覆蓋有限。
2026 年 11 月 6 日，OpenAI 在官網博文《Measuring how AI agents handle everyday wet-lab science》中介紹 BioBasicsBench，並稱該基準與專注酶設計的生物技術公司 Ligo 共同開發，用來衡量智能體在處理常規溼實驗分析時的表現。下文按評測設計、任務與數據形態、模型結果，以及官方披露的剩餘短板來整理。
發佈背景與評測目標¶
OpenAI 在文中把 AGI 受益人類與加速生物學研究並列爲動機之一，並指出：智能體若要參與科研，需要穩定理解科學家每天在溼實驗室裏面對的實驗證據。BioBasicsBench 側重三類能力：解讀原始實驗數據、發現錯誤、識別證據不足以支持結論的情況。官方強調，誤讀圖像或忽略對照問題，可能讓研究者得出錯誤結論，並在無效實驗上浪費時間。
這與「從論文圖表走向真實工作臺數據」的取向一致：輸入保留實驗現場常見形態，任務由從業者出題並經過多層審稿。
BioBasicsBench 任務構成¶
基準共 100 項任務，覆蓋五塊常規溼實驗工作：蛋白方法、成像與流式、定量與 Assay、核酸方法、分子克隆。難度從讀取凝膠上 DNA 分子量，到較完整的 Assay 分析都有，但均屬從業者應能可靠完成的日常工作。
出題流程上，科學家用自有實驗數據編寫任務，併爲每題配備專家撰寫的評分細則（rubric）。每題經 未參與編寫的 Ligo 科學家內部複審、溼實驗室博士級科學家外部複審，以及 最終內部複審；審稿範圍包括提示語、實驗證據、細則、作者說明與一次帶評分的模型嘗試。
智能體需返回結構化答案（結論、測量值或建議，必要時附推理）。得分按細則逐項給分，用於區分「結論對了但分析不完整」與完全正確。多數任務同時考查生物學知識、圖像/數據解讀、錯誤檢測與協議理解；技能標籤與領域標籤存在重疊，官方明確不能簡單把各技能列計數相加當作任務總數。
輸入數據長什麼樣¶
BioBasicsBench 刻意保留科學家日常接觸的原始證據類型。按 OpenAI 統計（類別可重疊）：
| 數據種類 | 涉及任務數 | 典型內容 |
|---|---|---|
| Gels & blots | 31 | 瓊脂糖 DNA 膠、SDS-PAGE、Western |
| Protocols, notes & specs | 27 | 協議與 SOP、實驗記錄、手寫筆記照片、說明書 |
| Tables & instrument exports | 20 | CSV/Excel、流式 FCS 等 |
| Bench & reagent photos | 18 | 檯面、電泳槽、PCR 板、冰箱等 |
| Microscopy | 14 | 明場/熒光、多通道、z-stack、延時 |
| Instrument screens & plots | 13 | 流式、NanoDrop、酶標儀屏幕及導出曲線 |
| Sequencing files | 12 | 長讀 FASTQ、FASTA、GenBank |
| Protocol videos | 7 | 塗板、接種、稀釋、SDS-PAGE 配膠等 |
| Agar plates & colonies | 7 | 轉化板、藍白篩選、藥敏碟 |
另有 21 項任務含參考表（marker ladder、質粒圖譜等）作爲輔助材料。單題可同時包含多種模態。
模型評測設置與主要分數¶
官方在 BioBasicsBench 上評測了 7 個模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna、GPT‑6 Astra。合計 37 組「模型 × 推理強度」設定；每組對 100 題各 5 次嘗試，共 18,500 條結果。主指標爲 mean reward：單題得分相對可獲得滿分的平均百分比，置信區間爲按整題重抽樣的 95% CI。
在七模型均彙報的 xhigh（最高推理強度）設定下，OpenAI 給出如下 mean reward（均含 100 題 × 5 次）：
| 模型 | Mean reward | 95% CI | 輸出 tokens / 題 |
|---|---|---|---|
| GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
| GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
| GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
| GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
同表其餘模型（GPT‑5.5 35.4%、GPT‑5.4 33.2%、GPT‑5.2 31.2%）分數更低。博文寫道，GPT‑6 Astra 相對 GPT‑5.6 Sol 提升明顯，即使在較低推理強度下也觀察到差距，並暗示更強的原生多模態能力可能與日常溼實驗分析表現相關。
官方舉例：Astra 相對 5.6 Sol 的差異¶
博文用若干對比說明進步方向，不限於分數表：
1、證據邊界：雙通道熒光檢測窗口在 525–540 nm 重疊時，僅憑亮度不能斷定細胞死亡；GPT‑5.6 Sol 仍按死細胞染料下結論，Astra 指出串擾並要求更好對照。
2、多模態細節：克隆實驗陰性對照板上抗生素標籤與實驗不符（板緣標爲 LB Kan50，實驗實際用 ampicillin）；5.6 Sol 因「無克隆」下結論，Astra 識別標籤錯誤並否定該對照。
3、實驗語境：顯微鏡視頻中細胞時隱時現，5.6 Sol 傾向生物學解釋，Astra 識別爲 z-stack 深度掃描所致。
同時，OpenAI 單列「仍不足」三類：熟悉假設壓過對照解讀（PCR 克隆條帶選錯泳道）；忽視與首選解釋矛盾的觀測（空泡明暗隨焦深變化卻概括爲「普遍更暗」）；常規菌落計數偏差（一例相對參考約 12% 高估）。文中原話指出：更高基準分尚不等於實驗室裏可依賴的判斷。
對評測路線與實驗室自動化的含義¶
BioBasicsBench 把「讀原始圖、查對照、承認證據不夠」寫成可打分的 100 題，並公開多模型在 xhigh 下的均值與置信區間，對做科研智能體或多模態評測的團隊是一條可覈對的一手描述。當前頭部模型 mean reward 約在 六成多，官方亦在文末把能力追蹤與 biosafety / biosecurity 含義掛鉤——日常分析自動化若前移，治理討論需要與能力曲線同步，而非只盯文獻級問答準確率。
從業者若要引用具體數字，應以 OpenAI 原文及隨文圖表爲準；任務清單、細則與數據是否對外完全開放，需查閱博文後續鏈接與發佈說明（本文未展開倉庫或下載地址，以免寫入未覈實項）。
事實來源：OpenAI 官網博文 Measuring how AI agents handle everyday wet-lab science（2026-11-06）。
