通用大型语言模型在医疗基准测试中表现优于专用临床AI工具 - AI与医疗健康

摘要

尽管缺乏独立评估，专用临床人工智能(AI)工具正逐渐进入医疗实践。我们对基于大型语言模型(LLMs)构建的两款临床AI工具OpenEvidence和UpToDate Expert AI进行了定量评估，并将其与三款前沿LLM进行对比：GPT-5.2、Gemini 3.1 Pro和Claude Opus 4.6。我们的评估包含三个阶段：(1)500道测试医学知识的MedQA问题；(2)500项测量与临床医生一致性的HealthBench项目；(3)基于100个医师在临床环境中的匿名查询构建的真实临床查询(RCQ)基准测试。对于RCQ基准测试，12名美国临床医生对模型输出进行了随机、盲法评审，产生了1,800个模型-问题标注。前沿LLM在所有三项评估中均优于临床AI工具。临床AI工具在RCQ测试中的表现与自动启用的Google Search AI概览相当。这些发现凸显了AI工具在进入临床环境前需要进行独立、真实世界评估的重要性。

主文

专用临床人工智能(AI)工具正大规模进入医疗实践[1,2]。这些专有的基于大型语言模型(LLM)的工具声称，由于领域特定训练或检索增强生成(RAG)技术的应用，它们的临床表现优于通用前沿LLM[3]。然而，它们的架构、基础模型和训练流程并未公开。因此，临床医生和医疗系统必须在缺乏独立证据的情况下评估其价值和安全性。相反，前沿LLM的大型训练语料库和广泛对齐可能使它们无需领域特定修改就能挑战临床AI工具。我们通过比较临床AI工具(OpenEvidence[1]和UpToDate Expert AI[2])与领先的通用LLM(OpenAI GPT-5.2、Google Gemini 3.1 Pro Preview和Anthropic Claude Opus 4.6)来测试这一假设。随后，我们将自动启用的Google Search AI概览作为临床医生经常遇到的真实世界对照纳入研究。

我们的评估(图1)包含三个阶段：(1)500道美国医师执照考试风格的MedQA[4]问题，用于评估医学知识；(2)500个HealthBench[5]项目，用于评估与专家临床医生的一致性；(3)从临床部署期间医师LLM查询中提取的100个真实临床查询(RCQ)。RCQ阶段由12名美国临床医生进行随机、盲法评审，产生了1,800个模型-问题标注。综合分析涵盖了多项选择推理、专家临床判断和日常临床医生使用。

通用LLM在MedQA问题上的表现优于临床AI工具(图2a和扩展数据图1a,b)。在前沿LLM中，Gemini以97.4%(95%置信区间(CI)95.6%–98.5%)的准确率位居最高，其次是GPT-5.2(94.2%，91.8%–95.9%)和Claude Opus 4.6(90.2%，87.3%–92.5%)。临床工具得分较低，其中OpenEvidence准确率为89.6%(86.6%–92.0%)，UpToDate为88.4%(85.3%–90.9%)。Gemini在所有其他模型中表现最佳(McNemar P<1×10⁻⁴ 对比OpenEvidence、UpToDate和Claude；P=0.02 对比GPT)。GPT-5.2的表现优于OpenEvidence(P=0.008)、UpToDate(P=0.0004)和Claude(P=0.04)。

HealthBench(图2b)由LLM评审小组进行评分，以减轻单一模型偏差。评分反映了在0-100分范围内获得的评分标准比例。GPT-5.2得分最高(88.0，95% CI 85.9–90.1)，其次是Gemini(79.3，76.6–81.9)和Claude(77.0，74.2–79.9)；两款临床工具得分较低(OpenEvidence得分为62.6(59.3–65.9)，UpToDate得分为61.3(58.0–64.6))。GPT-5.2的表现优于所有其他模型(Wilcoxon P<10⁻⁹)，而两款临床工具之间无显著差异(P=0.6)。在主题层面分析(扩展数据图1c,d)中，GPT-5.2在所有七个类别中排名第一或并列第一，而OpenEvidence和UpToDate在所有七个类别中排名最低或并列最低，与GPT-5.2的差异在六个类别中具有显著性(P≤0.004；例外：应对不确定性，P=1.00)。

为了开发RCQ基准，我们从NYU Langone Health符合健康保险可携性和责任法案(HIPAA)的GPT实例中抽样了100个匿名临床医生查询。12名盲法临床医生使用1-4分量表对六个模型的响应在四个维度(临床正确性、完整性、安全性/伤害避免和清晰度)上进行评分(扩展数据图2)。对于每个响应，随机分配三名评审员进行评估。我们将Google Search AI概览纳入RCQ评估，因为它经常被临床医生遇到。排除32次拒绝后，剩余568个响应。

六个模型之间存在显著差异(Friedman P<10⁻⁹)，形成了两个性能层级(图2c)。前沿LLM构成了第一层级：Gemini(平均综合评分3.62；95% CI 3.56–3.68)、GPT-5.2(3.54；3.47–3.61)和Claude Opus 4.6(3.52；3.44–3.59)，它们之间无显著差异。临床工具和Google AI概览位居第二：OpenEvidence(3.24；3.17–3.32)、UpToDate AI(3.17；3.09–3.25)和Google AI概览(3.27；3.18–3.35)，同样无显著差异。所有九个显著的成对比较均在层级之间(rank-biserial r=0.5–0.9)，这意味着前沿模型在大多数单个问题上的表现优于临床工具，而不仅是在平均值上。在调整评审员宽容度后，临床AI工具(包括Google AI)获得更高评分的几率比Gemini低49–87%(比值比0.13–0.51；所有P<0.0001)。在敏感性线性混合模型中，这对应于在1-4分量表上低0.36–0.44分(所有P<0.0001)。Google AI概览在所有维度上的得分与OpenEvidence和UpToDate AI相当或更好(扩展数据图3)。

层级结构在所有四个维度上都保持一致(图2d)。模型在清晰度上的差异最大(Kendall's W=0.292)，在临床正确性上差异最小(W=0.141)。OpenEvidence在清晰度上的得分最低(平均2.84)，表明其弱点在于沟通而非知识。定性来看，不完整的临床内容、关键安全遗漏和无序响应很常见，尤其是对OpenEvidence和Google AI概览(扩展数据表1)。UpToDate AI拒绝了19%的查询(图2e)，高于所有其他模型(1–3%；P<0.01)，Google AI概览(6%；P=0.10)除外。安全性结果(图2f,g)在模型间无差异：没有任何模型产生比其他模型更多的有害内容(Cochran's Q=4.00，P=0.55)或幻觉(Q=5.00，P=0.42)。所有12名临床医生对模型的排名相似(Kendall's W=0.651，P=2.3×10⁻⁷)，将前沿LLM排在临床工具之上(扩展数据图4)。

本研究是使用来自护理过程的真实医师查询对临床AI工具与前沿LLM进行的独立、定量比较。临床AI工具在每一项评估中都落后于前沿模型：知识、专家一致性以及多维度的真实临床使用。Google AI概览作为一种自动启用的搜索功能，在此基准测试中与临床AI工具表现相当。

由于专有临床AI工具的架构无法访问，无法明确评估其相对于通用模型表现不佳的机制。证据表明，RAG(可能被OpenEvidence[1]和UpToDate Expert AI[2]所采用)在检索到不相关材料或基础模型整合不佳时，实际上可能对模型性能产生负面影响[6,7,8]。前沿LLM可能只是更善于处理大多数医学问题所涉及的知识检索和推理[9]。它们还受益于比专业系统更快的迭代周期、更大的训练语料库和更广泛的对齐。前沿通用模型的观察到的优势可能反映了对这些系统的加速开发和投资。如果规模回报减少，领域特定调优、精选检索和临床医生参与优化的相对价值可能会增加。因此，我们的结果应被解释为快速演变的格局的一个快照，而非方法的永久排序。特别是，深度专业化的医疗任务可能更倾向于更复杂的、特定领域的适应[9,10,11]。

本研究有几个局限性。临床工具缺乏公开的应用程序编程接口(API)，因此通过浏览器界面进行查询，这限制了样本量，并可能引入隐藏提示、检索行为和输出格式的差异。标准化基准测试存在已知问题，如数据泄露[7]；模型可能在训练期间接触过MedQA或HealthBench，尽管我们的RCQ基准测试不受此污染。HealthBench是OpenAI开发的基准测试，依赖于每个评分标准的少量医生，公开文档对其构建和评估提供的细节有限[5]。对OpenAI模型(包括在HealthBench上得分最高的GPT-5.2)的评估可能受到基准-开发重叠的潜在影响，包括训练数据、优化目标或评分标准设计的潜在相似性。评分偏差也有可能，因为前沿模型既作为被评估系统又作为评审员，尽管我们使用了多模型小组来减轻此影响。因此，我们将RCQ基准测试上的盲法临床医生评估视为本研究的主要证据，而HealthBench应被解释为补充证据。

更广泛地说，行业创建的基准测试可能系统性地偏爱其创建者开发的系统，这强化了需要独立构建的评估工具。RCQ基准测试部分解决了这一问题：它源自真实临床查询，由盲法临床医生评估，并且不受训练集污染。此外，最近提出的针对LLM医疗建议的安全性评估，如NOHARM[12]框架表明，知识和沟通基准测试可能无法完全捕捉临床风险。相关工作还指出，以医疗系统为基础的评估框架(如嵌入本地临床工作流程的机构特定操作任务和预测设置)是对公共、行业编写的基准测试的重要补充，因为它们可能更好地捕捉模型在特定护理环境中是否具有临床实用性[13,14]。

最后，我们的评估没有评估响应延迟或引用质量。这些因素对于真实世界临床部署和工作流程整合非常重要，并且可能在API访问的前沿模型和基于订阅的临床工具之间存在显著差异(扩展数据表2)。未来的工作应系统地将这些实用维度与准确性和安全性进行比较。

临床AI工具可能具有机构合法性，可能适合常规使用，但我们的结果显示，它们在知识、沟通或临床一致性方面并不优于前沿模型。我们研究中前沿模型的优越表现表明，规模、对齐和跨领域推理可能在决定特定任务的医疗能力方面超过特定领域的调优，这一发现对采购、报销和监管监督具有重要意义。未来的道路可能最终在于利用机构数据的医院特定LLM[13,14]，以减轻外部伤害[15]，并谨慎地将前沿模型用于敏感性较低的任务[16]。随着生成式LLM在企业、个体临床医生和消费者层面整合到医疗保健中，对真实任务进行严格、独立评估的需求日益增加。

方法

研究批准和基准构建

本研究获得NYU Langone机构审查委员会(i23-00510)批准。我们随机抽样(种子=62)了500道美国医师执照考试风格的MedQA[4]问题和500个单轮提示的HealthBench[5]。这1,000个项目用于通过API评估三个前沿LLM：GPT-5.2(2026年2月访问，GPT-5.2-2025-12-11)、Gemini 3.1 Pro Preview(2026年2月访问)和Claude Opus 4.6(2026年2月)。两款临床工具OpenEvidence(2025年9月和2026年2月访问)和UpToDate Expert AI(2025年11月和2026年2月访问)通过浏览器界面手动查询。

生成参数

前沿模型生成使用固定、确定性参数进行。所有运行均启用了搜索工具。温度设置为0.0以消除采样变异性，并使用固定生成种子62。尽管跨系统匹配响应长度或格式会减少一个变异性来源，但我们选择不采用此方法，因为输出结构、冗长度和格式是每个系统临床界面的组成部分，并直接影响清晰度等维度；标准化这些特征会掩盖临床医生在实践中遇到的真实可用性差异。

MedQA评分

GPT-4.1(gpt-4.1-2025-04-14)提取每个模型的最终答案并对照参考键进行评分。正则表达式提取并行运行以进行一致性检查；分歧经过手动验证。显著性通过精确McNemar检验、Holm-Bonferroni校正进行测试。结果以Wilson 95%置信区间的准确率报告。

HealthBench评分

响应在五个维度上按评分标准获得的点数比例进行评分：准确性、完整性、沟通质量、上下文意识和指令遵循。满足的维度比例以Wilson 95%置信区间报告。响应还分为七个主题：紧急转诊、上下文寻求、全球健康、健康数据任务、专家定制沟通、应对不确定性和响应深度。评分使用三个评审员(Claude Opus 4.6、Gemini 3.1 Pro Preview和GPT-5.2)的小组多数投票；评审员提示在扩展数据图5中提供(ref. 5)。成对显著性通过Wilcoxon符号秩检验、Holm-Bonferroni校正进行测试。总体HealthBench分数和主题分数以正态近似95%置信区间的平均分数报告。

真实临床查询

我们从NYU Langone Health符合健康保险可携性和责任法案(HIPAA)的GPT实例中抽样了100个去标识化查询。每个查询提交给六个模型：三个前沿LLM、两个临床工具和Google Search AI概览。12名临床评审员在不知道模型身份的情况下，使用1-4分量表对响应在四个维度(临床正确性、完整性、安全性/伤害避免和清晰度)上进行评分(扩展数据图2)，并使用二进制标志标记有害内容和幻觉。三名评审员对每个问题-模型对进行评分；没有评审员保证对给定问题的所有六个响应进行评分(扩展数据图6)。对于统计分析，如果三位评审员中的多数分配了相应标签，则将项目(模型响应-问题对)分类为有害或包含幻觉。

RCQ统计分析

拒绝被标记并手动验证；如果任何评审员将问题-模型对标记为拒绝，则排除该对的所有评分，从而在568个项目上产生1,704个评分(排除32次拒绝)。综合评分计算为每个项目上四个维度的平均值，平均超过每项的三位评审员。

评审员间可靠性通过Krippendorff's alpha(有序)进行评估。项目级协议为公平(α=0.10–0.20)，尽管分歧落在相邻分数之间(±1内协议89–95%)。当简化为可接受(3–4)与不可接受(1–2)时，协议更高(经流行度调整的偏倚调整kappa=0.55–0.83)。二进制安全标志的协议很高(伤害的kappa=0.86，幻觉的kappa=0.95)。

我们将成对比较限制在74个完整问题上，其中所有六个模型都有非拒绝响应(完整案例偏差：最大差异0.034分)。Friedman检验评估总体差异；Nemenyi事后检验在控制族错误的同时识别差异对。带有Holm-Bonferroni校正的Wilcoxon符号秩检验提供了成对P值。效应大小通过rank-biserial相关性量化(95% CI来自5,000次自举迭代)。对所有568个项目的Kruskal-Wallis检验作为敏感性分析；结果一致。

具有评审员固定效应的累积链接模型(比例优势逻辑回归)是主要回归。具有随机评审员截距的线性混合模型作为敏感性检查。二进制标志通过Cochran's Q和成对McNemar检验进行比较，Holm-Bonferroni校正。拒绝率通过Fisher精确检验进行比较。所有检验在α=0.05下为双侧。