目前对医疗AI模型的评估依赖于有限的数据集，如MIMIC，这些数据集缺乏完整的患者轨迹。新的基准数据集提供了一种替代方案。
最近一篇JAMA文章报道，只有5%的研究在评估大型语言模型（LLMs）的医疗应用时使用了电子健康记录（EHR）数据。绝大多数报告的研究结果基于一个名为“重症监护医学信息仓库”（MIMIC）的PhysioNet患者数据集，或依赖私人数据。
虽然MIMIC在医疗AI研究中具有变革性意义，但它缺乏纵向健康数据——即跨越长时间段的患者记录。这使得MIMIC在评估需要长期患者护理轨迹的任务（如慢性病管理、多次就诊预测或护理路径优化）方面显得不足。因此，在现实生活中验证LLMs的所谓优势存在差距。这种评估差距限制了研究人员测试模型在不同患者群体和医疗系统中的泛化能力，只能通过引入超越MIMIC的EHR基准来弥合。
反映真实世界医疗多样性和复杂性的基准数据集对于促进公平、可扩展的AI系统至关重要。简而言之，负责任的AI和临床效益的诚实评估需要包含纵向患者数据的新基准，以解决人口代表性方面的差距。尽管对新数据集的需求得到广泛认可，但临床数据的复杂性、严格的隐私和伦理考虑构成了数据共享的障碍，因为像Hugging Face这样的平台无法托管此类数据。
为了解决这一需求，我们开发了三个去标识化的EHR基准数据集——EHRSHOT、INSPECT和MedAlign，作为解决“评估差距”的第一步。这些数据集免费提供给全球研究人员用于非商业用途，代表了使医疗AI评估更加严谨的重要一步。这些数据集补充了我们发布的20个EHR基础模型，包括仅解码器变换器（CLMBR）、时间事件模型（MOTOR）和预训练权重，用于基准测试亚二次长上下文架构（如Hyena和Mamba）。
这三个去标识化的纵向EHR数据集总共包含25,991名独特患者、441,680次就诊和2.95亿个临床事件。虽然患者数量少于MIMIC数据集，但我们的数据集提供了纵向数据，提供了每位患者健康旅程的详细视图，从而补充了MIMIC数据集。
纵向数据解决了医疗AI中的“缺失背景问题”，即当前医疗数据集未能反映真实世界EHR中过去和未来健康信息的全貌。提供这种纵向健康背景对于训练多模态模型理解复杂的长期健康模式至关重要，例如管理慢性疾病或癌症治疗规划。
所有去标识化的数据集都包括基准任务，以评估影响医疗AI的技术挑战。这些基准任务有助于创建统一的排行榜，支持社区跟踪最先进的模型发展。除了定义任务标签外，保留未见的保留测试集对于准确比较EHR基础模型在分类和预测任务中的性能至关重要。使用MIMIC数据时，研究人员通常会自行定义训练/测试分割，这需要从头重新训练基础模型以比较方法，这是一个昂贵且不切实际的过程，阻碍了可重复性和性能估计的标准化。
为了解决这个问题，我们的基准数据集还包括所有数据集的规范训练/验证/测试分割。这些标识符将在当前和未来的数据集发布中保持一致。我们发布的所有EHR基础模型也遵循这一规范分割，确保在我们的基准上进行评估时不会出现预训练数据泄漏的问题。
我们的去标识化数据集源自斯坦福大学内部的STARR数据仓库，并以观察性医疗结果合作通用数据模型（OMOP CDM 5.4）格式发布。虽然OMOP支持强大的统计分析工具生态系统，但并不适合训练和评估基础模型。因此，我们参与共同开发了医疗事件数据标准（MEDS），这是哈佛大学、麻省理工学院（MIT）、哥伦比亚大学和韩国科学技术院（KAIST）等学术机构之间的国际合作，旨在建立一个基于EHR的模型开发和基准测试生态系统，包括教程、数据质量工具和我们的开源训练基础设施。为了连接OMOP和MEDS世界，我们还发布了诸如MEDS Reader之类的工具，以加速数据加载速度高达100倍，并使我们的数据集可用作MEDS格式。
虽然数据已去标识化，但这些仍然是与医疗相关的数据，需要在特定访问协议下访问。数据访问协议和许可借鉴了PhysioNet的模式，MIMIC数据集是我们发布数据集方法的主要灵感来源。研究人员需要通过Redivis上的数据门户申请，签署用户级数据使用协议（DUA）和行为规则协议，并提供有效的CITI培训证书才能获得数据访问权限。
我们期待社区使用并在此基础上构建这些数据集。例如，我们即将推出的FactEHR数据集是一个基于从MIMIC和MedAlign采样的临床笔记的事实分解和验证基准。
(全文结束)
