OpenAI推出MedChemBench,试图把一个具体问题变成可测评任务:模型能否像药物化学研究者那样,结合分子结构与实验数据,解释化合物表现,并判断下一步值得测试什么。基准包含99道来自论文和专利的问题,覆盖117篇资料与761种分子结构。它衡量的是模型对既有研究证据的处理能力,而不是直接验证AI能否发现新药。
评测看什么
- 分子结构:能否依据结构图和化学基团还原原子连接与立体化学。
- 科学推理:能否用题目提供的证据解释实验结果或化合物取舍。
- 排序与选择:能否按研究目标筛选、排列候选化合物。
- 性质预测:预测结果与来源研究报告的数值或类别有多接近。
这些任务对应药物优化中的现实权衡:提高对靶点的活性,不一定同时改善吸收、细胞通透性或代谢稳定性。一个题目要求模型比较PRMT5抑制剂的细胞活性、跨膜能力和肝酶代谢表现;后续实验显示,不同化合物各有优势。模型必须理解结构变化与多项性质之间的关系,而不能只追求单一指标。
分数揭示的能力边界
OpenAI称,GPT-6 Astra在结构重建部分获得95.4%的可得分数,在一个保留18原子环结构的例题中,十次回答均正确。整体而言,模型更擅长还原分子结构和解释证据;化合物选择及数值预测的得分则仅约为一半。页面还报告GPT-5.6 Sol在完整基准上的得分为58.2%。不过,来源对Astra总分的表述并不完全一致:开篇列出GPT-6.2 Astra为84.5%,正文另称GPT-6 Astra在xhigh设置下为83.3%。这些数字对应的版本或统计口径未得到充分说明,阅读时不宜将其视为同一项结果。
意义与限制
MedChemBench的价值,在于把“AI懂不懂药物化学”拆成可检查的能力,并暴露结构理解与决策预测之间的落差。但测试基于已发表材料,模型可能接触过原始来源;每题仅单次作答,也没有工具、反馈或新实验。因而,高分不能直接等同于实验室决策可靠,更不能证明模型已经加速药物研发。它更适合作为后续模型比较与能力改进的参照。
评论
正在确认登录状态……
正在加载评论……