一项发表在《Healthcare》期刊上的新研究表明，医疗保健中的大型语言模型不仅仅是行政支持工具，正越来越多地被视为临床知识的来源，这引发了关于信任、责任和患者安全的关键担忧。
该研究题为《医疗保健中生成式人工智能的治理：认识论权威、信任和责任架构的规范性概念框架》，提出了一个框架来解决医疗系统应如何管理生成式人工智能的使用问题。研究引入了认识论权威-信任-责任(ETR)架构，这是一个结构化模型，旨在指导如何在临床环境中对人工智能输出进行分类、信任和监管。
研究认为，当前的治理方法是不够的，因为它们主要关注偏见、隐私和准确性等问题，而忽视了更基本的问题。这些问题包括人工智能系统产生的知识性质、在何种条件下应信任这些输出，以及当人工智能参与临床决策时责任的分配。
人工智能输出模糊了辅助与临床知识之间的界限
该研究确定了人工智能在医疗保健中使用方式的根本转变。大型语言模型不再局限于起草文件或总结患者记录等行政功能。相反，它们越来越多地参与类似于临床推理的任务，包括提出诊断建议、生成治疗建议和回应患者咨询。
这种演变创造了一个关键挑战：人工智能生成的内容通常看起来与权威医学知识无异。因此，临床医生和患者可能会将这些输出视为可靠证据，即使它们是通过统计模式识别而非经过验证的临床推理产生的。
人工智能系统可能会接受不正确的医学信息，特别是当这些信息以权威格式呈现时。这引发了对临床环境中错误信息风险的担忧，在这些环境中，错误的后果可能非常严重。同时，证据表明，使用人工智能工具并不一定会提高诊断准确性，这强化了谨慎治理而非盲目采用的必要性。
为了解决这个问题，该研究提出了一个人工智能输出的四级分类系统。这些层级从低风险的行政草案到高风险的临床证据声明不等。每个层级都需要不同程度的验证，确保治理强度与对患者护理的潜在影响相匹配。
在最低层级，人工智能输出作为需要基本审查的草案。在更高层级，输出包括诊断建议和基于证据的声明，需要严格的验证、可追溯性和机构监督。这种结构化方法旨在防止医疗系统同等对待所有人工智能输出，而研究将这种做法确定为主要的治理失败。
对人工智能的信任取决于可验证性、情境适应性、风险评估和可逆性
该研究强调，在医疗保健中对人工智能的信任不仅仅是用户信心的问题，而必须基于证明依赖合理的特定条件。它确定了四个关键因素，这些因素决定了对人工智能输出的信任是否合理：
- 可验证性要求人工智能生成的声明可以追溯到可靠来源。没有这种能力，临床医生就无法评估他们收到信息的有效性。
- 情境适应性确保监督水平与输出相关的临床风险相一致。
- 风险评估涉及评估不正确人工智能输出的潜在后果。在高风险情况下，即使很小的错误概率也可能对患者安全产生重大影响。
- 可逆性考虑如果AI指导的决策被证明是错误的，其影响是否可以消除。
所有这些条件构成了校准对人工智能系统信任的框架。该研究认为，未能满足这些标准会导致过度依赖或利用不足，这两种情况都会损害临床结果。
在此背景下引入的一个关键概念是"认识论安慰剂"。这指的是创造监督表象但不提供有意义保障的治理措施。例如，关于人工监督的通用声明可能会给人以安全的印象，但缺乏明确定义的角色、流程或问责机制。
该研究警告说，认识论安慰剂特别危险，因为它们模仿有效治理，同时未能保护患者。它们还可能创造对监管标准的虚假合规感，减少机构实施更强大保障措施的动机。
责任缺口暴露了人工智能驱动医疗保健的系统性弱点
识别出的最具挑战性的问题之一是责任问题。当人工智能系统参与临床决策时，很难确定谁应对结果负责。
传统的医疗责任模型假设有一个明确的责任链，通常以临床医生和医疗机构为中心。然而，人工智能的引入使这一结构复杂化。开发者设计系统，机构部署系统，临床医生使用系统，但没有一个单一参与者对决策过程拥有完全控制权。
这创造了该研究描述的责任缺口。在人工智能指导的决策导致患者伤害的情况下，尚不清楚责任应由开发者、医疗服务提供者还是机构承担。为了解决这个问题，该研究提出了一个基于六个关键治理功能的结构化责任模型。这些功能包括模型验证、输出分类、验证、风险检测、审计跟踪维护和生命周期管理。
这些功能的责任分布在四组人员之间：开发者、医疗机构、临床团队和外部审计师。每组都有明确定义的角色，确保治理的每个方面都不会被遗漏。这种方法将重点从被动问责转向主动设计。通过在部署前定义责任，医疗系统可以减少模糊性，提高管理与人工智能相关风险的能力。
该研究也承认在实施此类框架时的实际挑战，特别是在资源有限的环境中。它建议为这些环境提供简化的治理模型，包括将人工智能使用限制在低风险应用中并整合监督责任。
关键的监管窗口将塑造人工智能在医疗保健中的未来
欧洲联盟的人工智能法案和世界卫生组织的指南等全球倡议开始为医疗保健中的人工智能治理建立标准。然而，研究认为，2025年至2027年期间代表了一个关键的过渡阶段。在此期间，医疗机构正在做出如何将人工智能整合到工作流程中的决策，通常没有完全开发的治理结构。
在此期间做出的选择可能会产生长期影响。如果机构在没有明确的分类、信任和责任框架的情况下采用人工智能系统，治理规范可能会默认形成，更多地受到技术供应商而非以患者为中心的政策的影响。
该研究强调，治理必须在机构层面运作，弥合高层法规与日常临床实践之间的差距。现有的评估标准关注单个人工智能系统，但没有解决这些系统应如何整合到复杂的医疗环境中。
【全文结束】
