前言¶
实验室里每天用到的往往是凝胶条带、培养皿照片、显微镜序列和仪器导出表，而不是论文里挑过的「干净」图。失败电泳、标签贴错、通道串扰、对照设计有漏洞——这类噪声和排错才是湿实验分析的主体。现有不少科学评测更偏向出版物级图表，对「日常判读 + 纠错」覆盖有限。
2026 年 11 月 6 日，OpenAI 在官网博文《Measuring how AI agents handle everyday wet-lab science》中介绍 BioBasicsBench，并称该基准与专注酶设计的生物技术公司 Ligo 共同开发，用来衡量智能体在处理常规湿实验分析时的表现。下文按评测设计、任务与数据形态、模型结果，以及官方披露的剩余短板来整理。
发布背景与评测目标¶
OpenAI 在文中把 AGI 受益人类与加速生物学研究并列为动机之一，并指出：智能体若要参与科研，需要稳定理解科学家每天在湿实验室里面对的实验证据。BioBasicsBench 侧重三类能力：解读原始实验数据、发现错误、识别证据不足以支持结论的情况。官方强调，误读图像或忽略对照问题，可能让研究者得出错误结论，并在无效实验上浪费时间。
这与「从论文图表走向真实工作台数据」的取向一致：输入保留实验现场常见形态，任务由从业者出题并经过多层审稿。
BioBasicsBench 任务构成¶
基准共 100 项任务，覆盖五块常规湿实验工作：蛋白方法、成像与流式、定量与 Assay、核酸方法、分子克隆。难度从读取凝胶上 DNA 分子量，到较完整的 Assay 分析都有，但均属从业者应能可靠完成的日常工作。
出题流程上，科学家用自有实验数据编写任务，并为每题配备专家撰写的评分细则（rubric）。每题经 未参与编写的 Ligo 科学家内部复审、湿实验室博士级科学家外部复审，以及 最终内部复审；审稿范围包括提示语、实验证据、细则、作者说明与一次带评分的模型尝试。
智能体需返回结构化答案（结论、测量值或建议，必要时附推理）。得分按细则逐项给分，用于区分「结论对了但分析不完整」与完全正确。多数任务同时考查生物学知识、图像/数据解读、错误检测与协议理解；技能标签与领域标签存在重叠，官方明确不能简单把各技能列计数相加当作任务总数。
输入数据长什么样¶
BioBasicsBench 刻意保留科学家日常接触的原始证据类型。按 OpenAI 统计（类别可重叠）：
| 数据种类 | 涉及任务数 | 典型内容 |
|---|---|---|
| Gels & blots | 31 | 琼脂糖 DNA 胶、SDS-PAGE、Western |
| Protocols, notes & specs | 27 | 协议与 SOP、实验记录、手写笔记照片、说明书 |
| Tables & instrument exports | 20 | CSV/Excel、流式 FCS 等 |
| Bench & reagent photos | 18 | 台面、电泳槽、PCR 板、冰箱等 |
| Microscopy | 14 | 明场/荧光、多通道、z-stack、延时 |
| Instrument screens & plots | 13 | 流式、NanoDrop、酶标仪屏幕及导出曲线 |
| Sequencing files | 12 | 长读 FASTQ、FASTA、GenBank |
| Protocol videos | 7 | 涂板、接种、稀释、SDS-PAGE 配胶等 |
| Agar plates & colonies | 7 | 转化板、蓝白筛选、药敏碟 |
另有 21 项任务含参考表（marker ladder、质粒图谱等）作为辅助材料。单题可同时包含多种模态。
模型评测设置与主要分数¶
官方在 BioBasicsBench 上评测了 7 个模型：GPT‑5.2、GPT‑5.4、GPT‑5.5、GPT‑5.6 Sol、GPT‑6.1 Sol、GPT‑6 Luna、GPT‑6 Astra。合计 37 组「模型 × 推理强度」设定；每组对 100 题各 5 次尝试，共 18,500 条结果。主指标为 mean reward：单题得分相对可获得满分的平均百分比，置信区间为按整题重抽样的 95% CI。
在七模型均汇报的 xhigh（最高推理强度）设定下，OpenAI 给出如下 mean reward（均含 100 题 × 5 次）：
| 模型 | Mean reward | 95% CI | 输出 tokens / 题 |
|---|---|---|---|
| GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 |
| GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 |
| GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 |
| GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 |
同表其余模型（GPT‑5.5 35.4%、GPT‑5.4 33.2%、GPT‑5.2 31.2%）分数更低。博文写道，GPT‑6 Astra 相对 GPT‑5.6 Sol 提升明显，即使在较低推理强度下也观察到差距，并暗示更强的原生多模态能力可能与日常湿实验分析表现相关。
官方举例：Astra 相对 5.6 Sol 的差异¶
博文用若干对比说明进步方向，不限于分数表：
1、证据边界：双通道荧光检测窗口在 525–540 nm 重叠时，仅凭亮度不能断定细胞死亡；GPT‑5.6 Sol 仍按死细胞染料下结论，Astra 指出串扰并要求更好对照。
2、多模态细节：克隆实验阴性对照板上抗生素标签与实验不符（板缘标为 LB Kan50，实验实际用 ampicillin）；5.6 Sol 因「无克隆」下结论，Astra 识别标签错误并否定该对照。
3、实验语境：显微镜视频中细胞时隐时现，5.6 Sol 倾向生物学解释，Astra 识别为 z-stack 深度扫描所致。
同时，OpenAI 单列「仍不足」三类：熟悉假设压过对照解读（PCR 克隆条带选错泳道）；忽视与首选解释矛盾的观测（空泡明暗随焦深变化却概括为「普遍更暗」）；常规菌落计数偏差（一例相对参考约 12% 高估）。文中原话指出：更高基准分尚不等于实验室里可依赖的判断。
对评测路线与实验室自动化的含义¶
BioBasicsBench 把「读原始图、查对照、承认证据不够」写成可打分的 100 题，并公开多模型在 xhigh 下的均值与置信区间，对做科研智能体或多模态评测的团队是一条可核对的一手描述。当前头部模型 mean reward 约在 六成多，官方亦在文末把能力追踪与 biosafety / biosecurity 含义挂钩——日常分析自动化若前移，治理讨论需要与能力曲线同步，而非只盯文献级问答准确率。
从业者若要引用具体数字，应以 OpenAI 原文及随文图表为准；任务清单、细则与数据是否对外完全开放，需查阅博文后续链接与发布说明（本文未展开仓库或下载地址，以免写入未核实项）。
事实来源：OpenAI 官网博文 Measuring how AI agents handle everyday wet-lab science（2026-11-06）。
