斯坦福研究人员推出MedAgentBench:医疗健康AI智能体的真实世界基准测试
斯坦福大学研究团队发布了MedAgentBench,这是一个专为评估医疗健康领域大语言模型智能体而设计的新基准测试套件。与以往的问答数据集不同,MedAgentBench提供了一个虚拟电子健康记录环境,要求AI系统在此环境中进行交互、规划和执行多步骤临床任务,实现了从静态推理测试向真实工具化医疗工作流中智能体能力评估的重要转变。该基准包含300个由持证医师编写的任务,涵盖10个类别,利用100个真实患者档案和超过70万条医疗记录,并采用符合FHIR标准的环境设计。测试结果显示,Claude 3.5 Sonnet v2表现最佳,成功率达69.67%,但所有模型在需要安全执行多步骤操作的行动类任务上仍存在明显不足,突显了当前医疗AI智能体在精确性和可靠性方面的关键挑战。
2025-09-20 19:19:43AI与医疗健康