摘要
人工智能（AI）正在迅速改变重症监护领域，为提高诊断精度和个性化患者管理提供了机会。然而，将其整合到ICU临床实践中也带来了与公平性、透明性以及医患关系相关的重大挑战。为应对这些问题，专家团队评估了AI在重症监护中的当前状态和未来趋势。此次共识确定了关键挑战，并提出了可操作的建议，以指导这一高风险领域的AI实施。我们向重症监护界发出行动呼吁，弥合AI进步与人性化、以患者为中心护理之间的差距。我们的目标是确保平稳过渡到个性化医疗，同时：(1) 保持公平且无偏见的决策；(2) 促进跨ICU、急诊科和手术室的协作研究网络发展，推动数据共享和协调；(3) 解决负责任地部署AI所需的教育和监管转变。AI融入重症监护需要临床医生、患者、行业领导者和监管机构的共同努力，以确保患者安全并最大化社会效益。本文提出的建议为AI在重症监护医学中的伦理和有效实施奠定了基础。
引言
人工智能（AI）正快速进入重症监护领域，在这里它有可能提高诊断准确性和预后能力，优化ICU工作流程，并实现个性化护理。如果没有结构化的实施、评估和控制方法，这种转型可能会受阻，甚至可能导致患者伤害和意外后果。
尽管面对人员短缺、病例复杂性增加和成本上升的压力，大多数AI工具仍缺乏充分验证，尚未在真实环境中进行测试。为解决这一问题，我们向重症监护界发出行动号召：将AI引入ICU必须遵循务实、基于临床知识且具备风险意识的框架。通过多学科共识过程，包括重症监护医生、AI研究人员、数据科学家和专家的意见，本文提出了具体的建议，以指导AI在重症监护中的安全、有效和有意义的应用。
方法
本手稿中的共识是通过专家讨论形成的，而非基于证据的形式化评分或投票，因为认识到AI在重症监护领域是一个快速发展且许多关键问题仍未解答的领域。参与者由共识主席（MC、AB、FT和JLV）根据其在重症监护AI方面的贡献选择，以确保代表临床终端用户和AI开发者的广泛参与。讨论跨越多个领域，通过批判性审视现实世界的挑战、当前研究和监管环境来迭代完善建议。
虽然不完全依赖传统证据分级，但本文反映了专家驱动的严谨综合分析，旨在弥合现有知识空白，并在快速发展的领域中提供可操作的指导。为了帮助医生在这一复杂且快速变化的领域中导航，一些当前的分类和分类法如图1所示。
主要障碍和挑战
专家共识确定了AI在重症监护实施中的主要障碍。这些未解决且不断演变的挑战促使我们制定了一系列针对医生及其他医疗工作者、患者和社会利益相关者的建议，强调我们认为应指导医疗AI发展的原则。挑战和原则分为四个主要方面：1）以人为中心的AI；2）对临床医生使用AI的培训建议；3）数据模型和网络的标准化；4）AI治理。这些建议总结于图2，并在下文中详细讨论。
由于开发和维护医学AI应用程序需要巨大的计算能力、基础设施、资金和技术专长，因此AI开发主要由大型技术公司主导，而其目标可能并不总是与患者或医疗系统一致。新AI模型的快速扩散与医学的循证文化形成鲜明对比，引发了对未经充分验证临床模型部署的担忧。此外，许多模型使用的数据集未能充分代表弱势群体，导致算法偏差。AI模型可能缺乏时间有效性（当应用于不同时间段的新数据时）和地理有效性（当应用于不同机构或地区时）。疾病模式在时间和地域上的差异进一步增加了复杂性。
最后，AI的使用引发了伦理问题，包括对算法推荐的信任以及削弱医疗实践核心的人际联系的风险，这是千百年来医生与患者之间关系的基础。
建议
以下是我们在四个领域内的建议。图3展示了五个代表性AI用例在重症监护中的映射，范围从波形分析到个性化的临床医生培训。
努力实现以人为本和符合伦理的AI医疗应用
尽管AI具有显著的潜在益处，但其误用的风险不容忽视。如果过早部署且没有适当控制，AI算法可能会造成伤害。除了第治理和监管节中提到的已建立的监管框架外，我们还主张临床医生参与此过程并提供指导。
开发以人为本的医疗AI
医学和医疗保健中的AI开发应保持以人为本的视角，促进共情护理，并增加分配给医患沟通和互动的时间。例如，利用AI取代耗时或官僚的任务，如文档记录和护理交接，可以生成临床笔记，确保健康记录中捕获关键信息，同时减少行政负担。
建立医疗AI的社会契约
一个重要的担忧是AI可能加剧社会医疗不平等。在考虑AI对医生选择和行为的潜在影响时，应严格审查包含或强化偏见的可能性，以避免延续现有的健康不平等和不公平的数据驱动关联。因此，让患者和社会代表参与到关于下一个医疗时代的愿景、运作、目标和行动限制的讨论中至关重要。理想的目标是建立医疗AI的社会契约，以确保医疗AI的问责制和透明度。医疗AI的社会契约应明确所有利益相关者——临床医生、患者、开发者、监管者和管理者——的角色和责任。这包括让临床医生具备批判性评估AI工具的能力，开发者确保透明度、安全性和临床相关性，监管者执行性能、公平性和部署后监控标准。我们主张医院设立正式的监督机制，如专门的AI委员会，以确保AI系统的安全实施。此类结构将有助于形式化共同的责任，并确保AI部署始终符合公平、安全和以人为本护理的核心价值观。
优先考虑临床AI中的人类监督和伦理治理
自希波克拉底誓言以来，患者护理一直基于医患联系，临床医生承担着最大化患者利益并最小化伤害的伦理责任。随着AI技术越来越多地融入医疗保健，它们的责任也必须扩展到对其开发和应用的监督。在ICU中，治疗决策在个体患者偏好和社会考量之间取得平衡，医疗专业人员必须引领这一转变。作为重症监护医生，我们应该维持这一过程的治理，确保伦理原则和科学严谨性指导框架的开发，以衡量公平性、评估偏见并建立可接受的AI不确定性阈值。
鉴于AI与临床实践的交互日益增多，我们建议纳入由临床医生、患者、伦理学家和技术专家组成的多学科委员会，负责系统地审查重症监护中的算法行为，评估偏见风险，并促进决策过程的透明度。在此背景下，AI的发展提供了重新思考和推进患者护理伦理原则的机会。
对临床医生使用AI的培训建议
开发和评估人机界面
尽管有一些令人鼓舞的结果，但AI的临床应用仍然有限。第一步是理解临床医生如何与AI互动，并设计补充而不是破坏临床推理的系统。这意味着需要对人机界面进行具体研究，其中重点之一是识别临床医生与AI系统之间最有效的认知接口。一方面，医生可能过度信任AI模型结果，忽略关键信息。例如，在败血症检测中，AI算法可能因训练数据的局限性而错过非典型表现或热带传染病；如果临床医生过于依赖算法的阴性输出，他们可能会延迟启动必要的抗生素治疗。另一方面，临床医生的行为也可能无意中影响AI响应。为了更好地反映这种互动，近年来提出了人机协同的概念，强调AI支持而不是取代人类临床医生。这种协作被描述为两种形式：人机增强（即人机界面相较于单独人类提升了临床绩效）和人机协同（即联合绩效超过了单独的人类和AI）。为支持AI在重症监护临床实践中的引入，我们建议从人机增强概念开始，因为它更具包容性并且在医学文献中有更坚实的基础。后者的一个简单例子是开发可解释的实时仪表板，将复杂的多维数据综合成视觉格式，从而增强临床医生的情境意识而不至于让他们不堪重负。
使用AI改进疾病特征描述
传统的基于少数简单标准对患者分类和标记疾病及综合征的方法是医学教育的基础，但它们可能无法把握潜在病理的复杂性，导致次优护理。在重症监护中，患者的状况复杂且迅速变化，AI驱动的表型分析通过利用大量的基因组学、影像学、生物标志物和生理数据发挥着至关重要的作用。AI表型分析方法大致可分为两类。
一种方法涉及无监督聚类，即根据共享特征或模式对患者进行分组，无需预先标记。Seymour等人展示了机器学习如何使用高维数据将脓毒症患者分层为具有临床意义的亚组，随后可用于风险评估和预后。另一种有前景的方法是使用监督或半监督聚类技术，结合已知结果或部分标签以增强患者亚组的表型分析。
第二种方法属于因果推断框架，其中表型分析的具体目标是识别能够从特定干预中受益的亚组，因为存在因果关联。这种方法旨在通过识别治疗效果在不同组别中的变化，确保疗法针对最有可能受益的患者。例如，机器学习已被用于根据对特定治疗干预的反应对危重病患者进行分层，从而可能改善临床结果。在一个创伤性脑损伤（TBI）的大规模ICU队列中，无监督聚类基于神经和代谢特征识别出六个不同的亚组。
这些方法在推进急性和重症监护方面具有巨大潜力，因为它们不仅描述性，而且具有可操作性。在将这些方法整合到临床工作流程之前，我们需要确保临床医生能够接受从广义综合征到特定亚表型的范式转变，最终支持向个性化医疗的过渡。
确保AI在医疗保健中的负责任使用培训
除了临床实践，本科医学教育也直接受到AI变革的影响，因为未来的从业者需要具备理解和使用这些技术的能力。从教育初期就提供培训和知识要求所有临床医生了解数据科学和AI的基本概念、方法和局限性，这些内容应纳入医学学位核心课程。这将使临床医生能够批判性地使用和评估AI，识别偏见和局限性，并做出明智的决策，这最终可能缓解医学职业的身份危机，并为数据分析和AI研究提供新的职业道路。
除了本科教育，还必须培训经验丰富的医生、护士和其他相关卫生专业人员。AI对学术教育的影响深远且超出本文范围。一个有前景的例子是利用AI支持临床医生的个性化AI驱动培训——既包括临床教育，也包括理解与AI相关的概念。诸如聊天机器人、自适应模拟平台和智能辅导系统等工具可以根据学生的学习需求实时调整内容，提供定制教育。这可以应用于临床培训和AI领域的培训。
接受医学决策中的不确定性
不确定性是临床决策的一个固有部分，临床医生熟悉并通过经验和直觉学会驾驭它。然而，AI模型引入了一种新的不确定性类型，这可能削弱临床医生的信任，特别是在模型作为不透明的“黑箱”运行时。这增加了模型与临床判断之间的认知距离，因为临床医生不知道如何解读它。为弥合这一差距，可解释AI（XAI）应运而生，提供工具使模型预测更具解释性，理想情况下也更加值得信赖，以减少感知的不确定性。
然而，我们认为仅靠解释性是不够的。为了加速AI采用和信任，我们主张医师必须接受在不确定性下解释输出的培训——使用诸如合理性、与已知生物学的一致性以及与巩固临床推理的对齐等框架——而不是期望完全的解释性。
标准化和共享数据，同时维护患者隐私
在本节中，我们介绍了AI在重症监护中部署的关键基础设施。它们的成本应被视为对患者结果、流程效率和运营成本降低的投资。保留医疗机构内的数据所有权，并将患者和提供者视为利益相关者，使他们能够从其数据创造的价值中获益。相反，没有保护措施的情况下，临床数据有成为私人公司专有产品的风险——这些数据被重新出售给其来源机构，而不是作为自身发展的资源——例如通过开发和许可合成数据集。
标准化数据以促进可重复的AI模型
标准化数据收集对于创建通用和可重复的AI模型以及促进不同中心和系统之间的互操作性至关重要。急性与重症监护中的一个关键挑战是数据源的多样性，包括电子健康记录（EHR）、多组学数据（基因组学、转录组学、蛋白质组学和代谢组学）、医学影像（放射学、病理学和超声波），以及来自临床记录和报告的非结构化自由文本数据。这些多样化的数据模态对于开发AI驱动的决策支持工具至关重要，但由于医疗保健机构之间在结构、格式和质量上的差异，其集成非常复杂。
例如，ICU中器官功能障碍的检测、不同设备收集的血流动力学监测、不同制造商呼吸机的呼吸参数以及地方政策和法规的变化都会影响EHR数据的质量、结构和一致性，进而影响不同中心和临床试验的数据。
OMOP通用数据模型（CDM）嵌入了LOINC和SNOMED CT等标准词汇表，继续作为一种组织医疗数据的框架流行起来，实现了跨中心数据交换和模型互操作性。同样，Fast Healthcare Interoperability Resources（FHIR）提供了一种灵活的标准化信息交换解决方案，促进了结构化数据的实时访问。
医院、设备和EHR公司必须贡献于公认标准的采纳，以确保互操作性不会成为AI实施的障碍。
除了结构化数据外，AI还有潜力通过自动标记和标注数据源、跟踪出处并在各机构间协调数据格式来增强数据标准化。利用AI进行这些任务可以帮助减轻数据不一致性，从而提高AI驱动临床应用的可靠性和可扩展性。
优先考虑数据安全、安保和患者隐私
数据安全、安保和隐私都是AI在重症监护中应用所必需的。数据安全是指保护数据免受意外丢失或系统故障的影响，而数据安保则涉及防御恶意攻击的策略，包括黑客攻击、勒索软件或未经授权的数据访问。在现代医院中，数据安全和安保很快将成为如同手术室中的墙氧一样重要。在住院期间受到黑客攻击或篡改的临床数据集可能像失去电力、药物或氧气一样灾难性。最后，数据隐私关注于个人隐私信息的保护，确保患者数据按照法律规定存储和访问。
优先考虑这三个支柱对于医疗保健中弹性数字基础设施的构建至关重要。医学界的一种可能选择是支持开源模式以增加透明度，并减少对专有算法的依赖，可能更好地控制分布式系统中的安全和隐私问题。然而，维持开源创新需要适当的激励措施，如公共或专用研究资金、学术认可和监管支持，以确保高质量开发和长期可行性。没有这样的策略，开源模型的作用将会减弱，有更大的风险将临床决策控制权交给商业算法。
发展严格的AI研究方法论
我们相信AI研究应与其他医学研究领域保持相同的方法论标准。实现这一目标将需要同行评审员和科学期刊承担更多责任，以确保严谨性、透明性和临床相关性。
此外，推进ICU中的AI研究需要底层基础设施的转型，尤其是在高频数据收集和复杂、多模态患者信息集成方面，详见以下章节。在这种情况下，高度监控环境（如ICU）与普通病房之间数据分辨率的差距变得明显。ICU提供了高水平的数据粒度，因为高分辨率监控系统能够捕捉患者生理状态的快速变化。因此，将这种新来源的高容量、快速变化的生理数据整合进医学研究和临床实践中，可能会催生“生理组学”，一个描述该领域的提议术语，可能在推进个性化医疗方面变得像基因组学、蛋白质组学和其他“组学”领域一样重要。
AI将改变临床研究的执行方式，改善循证医学并开展随机临床试验（RCT）。AI可能帮助研究人员设计和招募精准的患者亚组，而不是使用大而异质的试验人群。这些精准方法可以解决由于人群不均一性和显著混杂效应引起的负面重症监护试验问题。AI可以通过允许在数十个中心招募具有数百条具体入选标准的极其细微的患者亚组，从而提高RCT效率，这是人类在实时实践中无法完成的任务。例如，在引用的TBI示例中，如果不进行AI分层，则不可能对适度GCS但严重代谢紊乱的患者等六种AI识别的内型进行RCT。这突显了AI在重症监护中实现精准试验设计的潜力。
AI与RCT之间存在多种交互领域，尽管全面审查超出了本文范围。这些包括用于识别可能从干预中受益最多的患者群体的试验仿真、筛选最有前景的干预药物、检测治疗效果的异质性，以及自动筛选以提高临床试验效率和降低成本。
确保AI模型在临床上有效、可复制和可推广需要坚持严格的方法论标准，特别是在患者异质性、实时决策和高频数据收集构成独特挑战的重症监护领域。已经确立的几个报告和验证框架为改进ICU中的AI研究提供了指导。虽然这些框架并非专门为ICU环境设计，但我们认为应通过专门的倡议、课程和科学协会迅速传播至重症监护社区。
对于预测模型，TRIPOD-AI扩展版着重于临床预测模型的透明报告，特别强调校准、内部和外部验证以及公平性。PROBAST-AI框架通过提供结构化工具来评估预测模型研究中的偏倚风险和适用性，补充了这一点。CONSORT-AI扩展了CONSORT框架，包括AI特定元素，如算法透明度和再现性，适用于涉及AI的干预性试验，而STARD-AI则为报告基于AI的诊断准确性研究提供了框架。这些指南共同涵盖了与透明性、可再现性、公平性、外部验证和人类监督相关的问题——这些原则必须被视为任何值得信赖的医疗AI研究的基础。尽管已有这些框架，但涉及AI方法的许多ICU研究仍未能达到这些标准，导致对外部验证和可推广性的担忧。
鼓励协作AI模型
集中从多个ICU收集数据或将数据整合到结构化网络中，通过实现单个机构无法达到的数据量级增强了外部有效性和可靠性。ICU处于数据共享工作的前沿，为研究社区提供了多个公开可用的数据集。构建协作数据库有几种策略。联网指协作研究联盟，这些联盟在各机构间协调协议并汇集临床研究数据。相比之下，联邦学习是一种去中心化的方法，其中数据本地存储，只有模型或权重在中心之间共享。最后，像Epic Cosmos这样的集中式方法利用从EHR中收集的去识别化数据并存储在中央服务器上，为整个医疗系统的研究和质量改进提供大规模患者群体的访问权限。联邦学习在欧洲获得了关注，那里的数据隐私法规对AI开发采取了更为规避风险的方法，因此更倾向于去中心化模型。相比之下，像Epic Cosmos这样的集中学习方法在美国更为常见，那里有一个更能容忍风险的环境，有利于大规模数据聚合。
与此同时，合成数据的使用正在成为一种互补策略，可以在保护患者隐私的同时实现数据共享。合成数据集是人工生成的，以反映真实患者数据的特征，可用于训练和测试模型，而无需暴露敏感信息。大量数据的可用性还可能支持创建数字孪生。数字孪生或虚拟模拟依赖于高容量、高保真度的数据集，可以镜像个体的生物和临床状态，从而允许在床边应用前进行预测建模和虚拟测试干预，提高干预的安全性。
ICU社区应倡导在国家和国际层面推广进一步的协作AI模型计划。
重症监护中AI的治理和监管
尽管监管努力不断增加，AI监管仍然是临床实施的最大障碍之一，特别是在重症监护这样高风险的环境中，因为监管治理、监控和模型性能评估不仅概念上困难，而且在多样化的医疗环境中需要巨大的操作努力。最近的欧盟AI法案引入了一个基于风险的监管框架，将医疗AI归类为高风险，并要求严格遵守透明度、人类监督和上市后监控的规定。虽然这些监管努力提供了基础指导，但重症监护AI提出了独特的挑战，需要专门的监督。
通过整合监管、专业和机构监督，重症监护中的AI治理可以超越理论讨论，转向平衡技术创新与患者安全的可操作政策。
促进公共和私营部门的合作
鉴于开发大型生成式AI模型所需的复杂性和经济、人力、计算资源的巨大投入，医生和监管者应促进医疗机构、技术公司和政府机构之间的合作伙伴关系，以支持AI赋能护理解决方案的研究、开发和部署。除了监管机构，专业协会和机构治理结构必须承担更积极的角色。像重症监护医学会（SCCM）、欧洲重症监护医学会（ESICM）和欧洲药品管理局（EMA）等组织应建立特定的临床实践指南，包括模型验证、临床医生与AI协作和问责的标准。监管机构应在国家和超国家层面运作，透明治理涉及多学科代表——包括临床医生、数据科学家、伦理学家和患者倡导者——以确保决策基于证据并符合伦理。为了避免无限期推迟创新，监管应是适应性的和相称的，侧重于基于风险的监督和持续的上市后监控，而不是僵化的上市前限制。此外，实施强制性的AI性能报告要求和创建医院级别的AI安全委员会可以提供一种结构化、实用的框架，以保障临床AI应用的持续可靠性和安全性。
缩小AI差距以改善健康平等
AI的采用可能在不同地理区域显著不同，受技术能力（即软件或硬件资源获取的差异）以及各国投资和优先事项差异的影响。这种“AI差距”会将高AI获取者与有限或无获取者区分开来，加剧社会和经济不平等。
欧盟委员会被提议作为一个伞形机构，协调欧盟范围内缩小成员国之间AI差距的战略，实施协调和支持项目活动。这里提到使用特定项目，如玛丽·居里培训网络，以加强AI人力资源，同时开发基础设施和实施跨国指南和方法。
联合国最近的一份文件也解决了不同经济部门的数字鸿沟问题，建议通过教育、国际合作和技术发展来实现AI资源和基础设施的公平分配。
因此，每个国家的医学界应通过世界卫生组织在国家和国际层面游说，争取国际合作，例如通过开发特定的资助和研究计划。重症监护医生应要求跨国方法进行标准化数据收集，并要求AI技术和数据分析的政策。政府、联合国、世卫组织和科学协会应成为这一协调努力的目标。
动态模型的持续评估和上市后监控
当前监管的一个主要限制是缺乏动态AI模型的既定路径。重症监护中的AI系统本质上是动态的，随着新现实世界数据的纳入而演变，而大多数FDA批准依赖静态评估。相比之下，欧盟AI法案强调持续的风险评估。这种方法应在全球范围内扩展，以实现重症监护单元中AI驱动决策支持工具的实时审计、验证和治理，同时也适用于上市后监控。欧盟AI法案要求对高风险AI系统进行持续监控，我们主张这一原则应被国际采纳，以缓解ICU环境中AI退化和偏倚漂移的风险。实际上，这要求AI商业实体提供上市后监控计划，并在预定义时间窗口（15天或更短）内报告严重事件。公司还应随着AI系统的演变持续进行这种监控。实施这些监控系统应包括标准化的监控协议、嵌入临床工作流程的事件报告工具、参与性能登记和定期审核。这些机制由国家市场监管机构（MSA）监督，得到欧盟范围内的指导和支持，确保临床AI系统的持续和强制监督。
要求AI在临床实践中部署的适当监管
在ICU、急诊病房甚至普通病房等复杂临床环境中部署AI是一项复杂挑战。
我们强调三个方面的适当监管：首先，对AI产品临床应用前的安全性和有效性进行严格的监管评估过程。第二个方面是相关的持续上市后评估，应为强制性，并按照其他种类的医疗器械进行。第三个重要方面是责任认定，明确如果AI决策或基于AI的人类决策导致损害，谁应承担责任。这与需要适当的保险政策有关。我们敦促各国监管机构提供关于这些问题的规定，这对AI的普及至关重要。
我们还建议患者和临床医生要求各国监管机构更新现行立法和监管途径，包括明确的保险政策规则，以预见和减少案例法风险。
结论
在本文中，我们概述了AI在重症监护中采用的关键障碍，并在四个领域提出了可操作的建议：1）确保以人为本和符合伦理的AI使用；2）促进临床应用培训；3）在保障安全和隐私的同时标准化数据基础设施；4）加强治理和监管。这些建议涉及所有可能的医疗利益相关者，包括医生和医疗服务提供者、患者、行业和学术开发者以及监管者。最终，AI革命不仅仅关乎技术发展，而是关乎它将如何影响人类与患者、家属和医生的关系。
临床医生可能会越来越多地使用AI支持临床决策，但医疗实践的核心价值——人际联系、同理心和医患关系——绝不能被侵犯。我们呼吁全球重症监护界合作塑造这个创新的未来，以确保AI的整合提升而不是侵蚀护理质量和患者福祉。
(全文结束)