Tim O'Connell博士是emtelligent的执业放射科医生兼首席执行官和联合创始人。他提出了确保人工智能在医疗环境中安全、有效和透明运行所需的观点。以下是我们的采访内容：
Q. 为什么在医疗技术现代化过程中，确保AI的安全和伦理使用的护栏如此重要？
A. AI技术为医疗服务提供者、支付方、研究人员和患者带来了令人兴奋的可能性，有望实现更好的结果和更低的医疗成本。然而，要实现AI的全部潜力，特别是医疗AI，我们必须确保医疗专业人员了解这些技术的能力和局限性。这包括意识到诸如非确定性、幻觉和可靠引用源数据等问题的风险。医疗专业人员不仅需要了解AI的好处，还需要具备对其潜在缺陷的批判性理解，确保他们能够在各种临床环境中安全有效地使用这些工具。
制定和遵循一套深思熟虑的原则，确保AI的安全和伦理使用至关重要。这些原则应包括解决隐私、安全和偏见方面的担忧，并且必须基于透明度、问责制和公平性。减少偏见需要在更多样化的数据集上训练AI系统，这些数据集可以反映历史上的诊断和健康结果差异，同时还要调整训练重点，确保AI系统与现实世界中的医疗需求保持一致。
这种对多样性的关注、透明度和强有力的监督，包括护栏的开发，确保AI可以成为高效的工具，具有抵抗错误的能力，并有助于显著改善医疗结果。护栏的形式包括精心设计的法规、伦理指南和操作保障措施，这些措施有助于确保AI工具负责任且有效地使用，解决患者安全、数据隐私和算法偏见方面的担忧。它们还提供了问责机制，确保任何来自AI系统的错误或意外后果可以追溯到具体的决策点并得到纠正。在这种背景下，护栏既起到保护作用，又起到促进作用，使医疗专业人员能够信任AI系统，同时防范其潜在风险。
Q. 算法歧视如何加剧健康不平等，如何解决这个问题？
A. 如果我们在医疗中依赖的AI系统没有得到适当的开发和训练，存在算法歧视的真实风险。在不够大或不够多样化的数据集上训练的AI模型会产生有偏见的结果。这意味着AI可能为服务不足的人群（如种族或族裔少数群体、女性、低社会经济背景的个人和非常罕见或不常见疾病的患者）提供不太准确或不太有效的护理建议。
例如，如果一个医疗语言模型主要在特定人口的数据上进行训练，它可能会难以准确提取反映不同医疗条件或文化背景的临床笔记中的相关信息。这可能导致漏诊、患者症状的误解或对模型未充分训练识别的人群的无效治疗建议。实际上，AI系统可能会加剧它本应缓解的不平等，特别是对于经常被传统医疗系统忽视的种族少数群体、女性和低社会经济背景的患者。
为了解决这个问题，确保AI系统建立在大型、高度多样化且能捕捉广泛患者人口统计学、临床表现和健康结果的数据集上至关重要。用于训练这些模型的数据必须代表不同的种族、族裔、性别、年龄和社会经济地位，以避免将系统的输出偏向于狭隘的医疗视角。这种多样性使模型能够在多样化的患者和临床场景中准确运行，最小化偏见的延续风险，确保AI对所有人都是安全和有效的。
Q. 为什么在医疗AI中，人类参与循环（human-in-the-loop）是必不可少的？
A. 尽管AI可以处理大量数据并以远超人类能力的速度生成洞察，但它缺乏对复杂医疗概念的细微理解，而这些概念对于提供高质量的护理至关重要。在医疗环境中，人类参与循环（human-in-the-loop）是必不可少的，因为它们提供了确保算法准确、安全和伦理运行所需的临床专业知识、监督和背景。
考虑一个用例，即从临床笔记、实验室报告和其他医疗文件中提取结构化数据。如果没有临床医生指导开发、培训和持续验证，AI模型可能会遗漏重要信息或误解医学术语、缩写或临床语言中的上下文细微差别。例如，系统可能会错误地标记某个症状为重要，或忽略医生笔记中的关键信息。人类专家可以帮助微调这些模型，确保它们正确捕获和解释复杂的医学语言。
从工作流程的角度来看，人类参与循环可以帮助解释和采取AI驱动的洞察。即使当AI系统生成准确的预测时，医疗决策通常仍需要临床医生提供的个性化水平。人类专家可以将AI输出与其临床经验、对患者独特情况的理解以及对更广泛医疗趋势的认识结合起来，做出知情且富有同情心的决策。
Q. 建立医疗AI安全标准的立法行动现状如何，立法者需要做些什么？
A. 建立医疗AI安全标准的立法行动仍处于早期阶段，但越来越多的人认识到需要全面的指南和法规，以确保AI技术在临床环境中的安全和伦理使用。许多国家已经开始引入AI监管框架，这些框架借鉴了强调安全、公平、透明和问责的可信AI原则，这些原则正在塑造这些对话。
在美国，食品药品监督管理局（FDA）已经引入了一个针对基于AI的医疗设备（尤其是软件作为医疗设备（SaMD））的监管框架。FDA提出的框架遵循“产品全生命周期”方法，与可信AI原则一致，强调持续监控、更新和实时评估AI性能。然而，尽管该框架解决了AI驱动设备的问题，但尚未完全解决非设备AI应用带来的挑战，这些应用涉及复杂的临床数据。
去年11月，美国医学会（AMA）发布了关于以道德、公平、负责和透明的方式使用AI的拟议指南。在其“增强智能开发、部署和使用原则”中，AMA重申了其立场，即AI增强而不是替代人类智能，并认为“医疗社区帮助指导这些工具的开发方式，以最好地满足医生和患者的需求，特别是在AI直接影响直接患者护理的情况下，定义自己的组织风险承受能力”非常重要。
通过促进政策制定者、医疗专业人员、AI开发者和伦理学家之间的合作，我们可以制定出既能促进患者安全又能推动技术进步的法规。立法者需要找到平衡，创造一个AI创新可以蓬勃发展的环境，同时确保这些技术达到最高的安全和伦理标准。这包括制定能够灵活适应新AI进展的法规，确保AI系统保持灵活、透明并响应不断变化的医疗需求。
(全文结束)
