关于人工智能的安全有效使用，讨论主要集中在训练数据中的偏见和幻觉等不良输出上。但随着试点项目发展为企业级部署，我们的行业不能忽视人类用户如何与这些系统互动。
“自动化自满”是一种心理现象，医疗组织和临床医生现在必须开始理解并准备应对。
识别问题
自动化自满是人类的一种自然倾向，即随着自动化系统的使用增加而变得过度依赖或过度信任。这类似于临床医生已经经历的“警报疲劳”，即持续的通知会削弱反应能力。虽然这种模式在各个行业都会出现，但医疗保健自然是一个高风险环境。
以环境聆听（目前广泛使用的AI用例）为例，说明看似微小的自动化自满可能如何影响诊疗决策和结果。如果每次使用自动文档时都不进行审查和彻底检查，细微的不准确之处可能会在患者记录中传播。虽然笔记看起来正确且账单无误，但细微的错误可能会随时间累积而不被发现，最终形成扭曲的临床图景。
医学很少涉及绝对，即使是最先进的AI系统也并非万无一失。虽然临床AI系统比消费级模型训练更严格、管理更严格，但边缘情况（例如不符合典型特征的患者）总会考验技术的极限。正如AI无法取代临床医生提供的人文关怀一样，它也无法取代他们的深厚临床专业知识和实践经验。
遏制自满
防止自满的最强保障是人类的好奇心和健康的怀疑态度。AI生成的见解应促使审查和质疑，而非自动接受。这需要一种多管齐下的方法，融合组织战略和个人勤奋。
当组织引入复杂的AI系统（例如用于分诊或临床决策支持的系统）时，关键是将它们与现有流程并行运行，以便将AI的数据和建议与既定工作流程进行比较。AI模型通常基于非常大的全国甚至国际数据集进行训练，这些数据集可能不完全代表您所在组织的社区或您的患者。实施分阶段和并行部署有助于揭示潜在隐患，并在它们影响患者护理之前加以解决。
创新的培训方法也有助于强化主动评估AI生成信息的必要性。因为我们通常通过直接体验学习效果最好，组织可以创建包含故意包含细微不准确之处的AI输出的教育内容。继续以环境聆听为例，模拟可以促使临床医生评估一系列AI生成的笔记。如果他们错过了文档中那些故意的细微错误，训练系统可以标记出这个细微差别，并分享最佳实践，帮助他们在实际临床实践中识别这些问题。
此外，组织可以通过“强制功能”鼓励对AI进行持续的批判性评估。应建立需要主动提供者参与和批准流程，而不是将数据自动推送到患者记录中。简单的提醒和系统设计让临床医生作为最终审查环节保持参与至关重要。现有的控制措施（如图表审计）在推出AI工具时也非常有助于确保准确性和质量。
谨慎而自信地扩展
随着对自动化自满意识提高和教育加强，医院和诊所可以帮助提供者保持警惕，同时通过这些辅助技术提供真正的缓解。因为最终，AI采纳不是目标，而是赋能临床医生、赋予患者权力并安全、可持续、战略性地变革医疗组织的手段。
了解Altera Digital Health如何利用AI提升所有相关人员的医疗体验。
免责声明：本文仅供一般信息参考和教育目的。内容反映作者的专业观点，不构成法律、监管或合规建议。读者不应依赖本文替代咨询合格法律顾问以了解其具体情况。医疗保健中人工智能的法律法规正在迅速变化，且因司法管辖区而异；组织在实施任何AI相关策略或实践前应寻求独立法律指导。
【全文结束】