此前，当OpenAI发布其最新旗舰人工智能（AI）系统GPT-5时，该公司声称其在各个领域都比早期模型"聪明得多"。这一说法得到了一系列基准测试成绩的支持，这些测试评估了软件编码、数学和医疗保健等领域的表现。这类基准测试已成为评估AI系统的标准方式，但它们无法反映这些系统在现实世界中的实际表现和效果。
一组AI研究者和计量学家（研究测量科学的专家）近日提出了改进方向。计量学在此领域至关重要，因为它不仅能确保我们日益依赖的AI系统的可靠性，还能衡量其更广泛的经济、文化和社会影响。
安全性测量
我们依赖计量学来确保工具、产品、服务和流程的可靠性。以生物医学伦理学家身份切入，医疗AI领域承诺通过改进诊断、个性化治疗、疾病预防和处理行政任务来改善医疗服务。要实现这些承诺，必须确保医疗AI的安全性和有效性，并找到可靠的测量方法。
目前，最先进的AI系统评估主要依赖基准测试。这些测试通过输出评估AI系统，例如其回答的准确性或相关性，或与人类专家的比较。已有数百个AI基准测试覆盖广泛知识领域，但基准测试成绩无法反映模型在现实环境中的效果。
基准测试的局限
基准测试对商业AI开发商展示产品性能和吸引融资至关重要。例如，今年4月一家名为Cognition AI的初创公司在软件工程基准测试中取得佳绩后，以20亿美元估值获得1.75亿美元融资。Meta似乎调整了Llama-4模型以优化某聊天机器人排名网站得分，而OpenAI的o3模型因接触过FrontierMath基准测试数据集而引发争议。
这体现了英国经济学家查尔斯·古德哈特提出的"古德哈特定律"：当某个指标成为目标时，它就失去了良好的衡量价值。算法伦理学专家鲁曼·乔杜里（Rumman Chowdhury）指出，过度依赖指标可能导致"操纵、作弊，以及对短期特质的狭隘关注，忽视长期后果"。
超越基准测试
医疗AI领域已出现改进。第一代基准测试使用医疗执照考试评估大型语言模型（LLMs），但这些测试因无法反映真实临床实践的复杂性而受到批评。新一代"整体性"评估框架（如包含35项基准测试的MedHELM）覆盖决策、记录、沟通等五个临床任务类别。
更全面的评估生态系统需要学术界、产业界和民间社会的合作，开发严谨可重复的评估方法。现有方法包括红队测试（刻意产生不良输出）和实地测试。下一步是完善和系统化这些方法，建立能可靠衡量AI多维影响的科学体系。若AI真能实现其宣传的变革潜力，我们需要建立保护公众利益的测量科学，而不仅是服务科技精英。
【全文结束】
