前一节讨论了人工智能对医患关系的潜在影响，得出结论认为需要围绕透明度、偏见、保密性和临床效能制定伦理标准，以保护患者在知情同意、平等、隐私和安全方面的利益。这些标准可以作为在医疗保健中部署人工智能的基础，帮助而不是妨碍医生和患者之间的信任关系。这些标准可以解决系统在部署前的设计和测试方式，以及它们在临床护理常规和机构决策过程中的实施方式。
《奥维耶多公约》作为保护人权的最低标准，要求转化为国内法。基于此，有机会就人工智能介导的医疗保健应达到的护理标准提出具体、积极的建议。这些建议不得干涉各国通过国内法和专业机构行使主权的权利，如《奥维耶多公约》第4条所述。然而，也可以制定不干扰第4条的标准，并可视为直接可执行的。具体而言，正如安多诺指出的：“欧洲委员会设立的共同标准主要通过国家的中介运作。这当然不排除公约中的一些规范可能在国内法中具有直接效力。例如，涉及个人权利的一些规范，如知情权、知情同意的要求和不因遗传特征而受到歧视的权利，以及禁止规范，都可以被视为具有直接效力，但在缺乏法律制裁的情况下，其效力仅限于民事和行政救济。”
当人工智能明显影响到《奥维耶多公约》中规定的权利和保护时，欧洲委员会应就如何部署和管理人工智能向签署国提出具有约束力的建议和要求。建议应关注更高的积极护理标准，以确保医患关系不受人工智能引入护理环境的不当干扰。当然，这些标准应在一定程度上支持关键规范问题的地方解释，如可接受的自动化偏见程度、不同患者群体之间结果的可接受权衡等受地方规范影响的领域。
以下示例建议详细说明了可能的基本要求和建议，旨在保护人工智能介导护理中的知情同意、公共透明度标准以及为偏见测试收集敏感数据的标准。每项建议应被视为从对人工智能对医患关系潜在伦理影响的讨论中得出的建议类型。
知情同意的可理解性要求
根据解释报告，《奥维耶多公约》第5条包含了一份不完整的清单，列出了知情同意过程中应共享的信息。由于该清单不完整，欧洲委员会可以设定标准，规定应向患者传达有关人工智能系统对患者诊断和治疗建议的信息的内容和方式。鉴于医生在临床互动中分享和讨论此类信息的传统角色，这些标准还应解决医生在向患者解释人工智能建议以及如何设计人工智能系统以支持医生在此角色中的作用。
在人工智能中，可解释性的几个概念在激励可解释性的问题和价值中是通用的。可解释性方法试图解释“黑箱”机器学习模型的功能或行为，这些模型是人工智能决策系统的关键组成部分。训练好的机器学习模型被称为“黑箱”，因为它们对人类观察者来说是不可理解的，因为它们的内部结构和理由对观察者来说是未知或无法访问的，或者已知但因复杂性而无法解释。狭义上的可解释性指的是理解给定现象（在这种情况下是训练好的机器学习模型及其输出）的功能和意义，并用人类可以理解的术语来解释它。“解释”同样是人工智能可解释性中的一个关键概念。一般来说，人工智能中的解释将实例的特征值与其模型预测以人类可以理解的方式联系起来。这个粗略的定义隐藏了重要的细微差别。该术语涵盖了多种方式，用于向不同的利益相关者交换有关现象的信息，在这种情况下是模型的功能或决策的理据和标准。
为了理解医学中如何操作化“解释”，两个关键的区别是相关的：
- 首先，方法可以根据它们试图解释的内容进行区分。模型功能的解释涉及模型从输入数据生成输出的一般逻辑。相反，模型行为的解释旨在解释模型表现出特定行为的原因，例如特定输出是如何从特定输入产生的。模型功能的解释旨在解释模型内部发生了什么，而模型行为的解释则通过参考对该行为至关重要的属性或影响因素来解释特定行为或输出的原因。严格来说，要解释模型行为，不必完全理解模型内的所有关系、依赖关系和特征权重。
- 其次，可解释性方法可以根据它们如何概念化“解释”进行区分。许多方法将解释概念化为近似模型，这是一种较简单的、人类可以理解的模型，创建目的是可靠地近似更复杂的“黑箱”模型的功能。近似模型本身通常令人困惑地被称为“黑箱”模型的解释。这种方法与科学哲学和认识论中对“解释”的处理形成对比，在科学哲学和认识论中，该术语通常指解释给定现象原因的解释性陈述。
以这种方式使用“解释”可能会令人困惑。近似模型最好被看作是从中可以得出有关原始模型的解释性陈述的工具。解释性陈述本身可以是文本的、定量的或视觉的，并报告模型及其行为的多个方面。
进一步的区分有助于分类不同类型解释和可解释性方法。可解释性的一个基本区分在于全局可解释性和局部可解释性。这一区分指的是给定的可解释性或解释方法旨在使模型或输出在人类可理解的范围内。全局方法旨在解释模型作为一个整体或特定一组输出的功能，包括特征的重要性、它们的依赖关系或相互作用以及它们对输出的影响。相比之下，局部方法可以解决输入空间的特定区域或特定变量对模型的一个或多个特定输出的影响。
模型可以在整体或模块级别实现全局可解释性。整体全局可解释性是指模型对人类观察者来说是可理解的，即观察者可以跟随模型采取的整个逻辑或功能步骤，从而得出模型的所有可能结果。一个人应该能够全面理解整体可解释的模型。观察者将有“对其特征和每个学习组件（如权重、其他参数和结构）的整体视图”。鉴于人类理解和短期记忆的限制，目前只有相对简单的模型，具有少量特征、交互或规则，或强线性和单调性，才能在全球整体上实现可解释性。对于更复杂的模型，模块级别的全局可解释性可能是可行的。这种类型的可解释性涉及理解模型的特定特征或部分，例如线性模型中的权重，或决策树中的分裂和叶节点预测。
关于局部可解释性，如果可以解释导致单个输出的步骤，则该输出被认为是可解释的。局部可解释性不要求解释整个系列步骤；而是可以解释导致输出的模型的一个或多个方面，例如关键影响特征值。如果可以将解释单个输出的方法应用于一组输出，则该组被认为是局部可解释的。也可以通过产生模块级别全局可解释性的方法来解释组。
这些区分导致了一些初步结论，即人工智能如何最好地向医生和患者解释自己。在采用点上，全局解释模型功能似乎是适当的，以确保人工智能系统在特定医疗保健环境中的预期用途与系统的实际性能之间有可靠的匹配。对于向患者解释特定输出或建议，形式为解释性陈述的模型行为解释似乎在解释系统决策逻辑的同时，对专家和非专家用户都保持可理解性，达到了最佳的平衡。在这种背景下，像“反事实解释”这样的方法可能是优选的，因为它们便于专家用户调试和测试系统性能，同时在个别解释层面上对非专家患者保持可理解性。总结来说，为了使人工智能系统对患者可理解，简单、局部、对比解释优于难以理解和解释的全局近似解释。
另一种但互补的方法是在临床护理中仅使用内在可解释的模型，以使卫生专业人员能够全面理解系统并更好地向患者解释。然而，实施这种方法将对卫生专业人员在计算机科学、统计学和机器学习方面的技术专长提出额外要求，这在实践中可能非常困难，甚至不合理。
医疗人工智能系统的公共注册表以提高透明度
关于向患者披露用于运营和临床目的的人工智能系统的使用问题，欧洲议会认识到提高公众对医疗保健中人工智能使用的意识的重要性，以建立患者的信任并确保在人工智能介导的护理中可以实现知情同意。具体而言，其2020年10月的报告建议，医疗保健中人工智能系统的透明度“可能需要建立一个国家卫生数据治理框架，该框架可以借鉴国际机构的提议”。后者包括欧洲委员会人权专员2019年5月提出的《解构人工智能：10步保护人权》建议，欧盟2019年4月提出的《可信人工智能伦理指南》，经合组织2019年5月提出的《人工智能建议和原则》，以及G20 2019年6月提出的《以人为本的人工智能原则》。
根据这些建议，公共数据库被视为提高公众“算法素养”的关键要素，这是行使许多人权和法律权利的基本前提。
拟议框架旨在提高公众对医疗保健中人工智能系统的意识，可以被视为一种医疗保健人工智能系统的公共注册表。注册表是当前使用系统的公共列表，包含每个系统的标准化描述。注册表中包含的信息各不相同，但可以包括系统的预期用途或目的；制造商或供应商；底层方法（例如，深度学习、回归）；任何测试，包括准确性测试以及偏见和其他伦理和法律维度的测试；培训和测试数据集的描述；以及系统预测或输出如何由人类决策者利用或以其他方式整合到现有服务和决策过程中的解释。注册表通常还具有反馈功能，允许公民对公共机构和服务当前和拟议的AI使用提供意见。
已有来自市政、国家和国际公共机构的多个注册表示例。2020年，阿姆斯特丹和赫尔辛基启动了用于提供市政服务的人工智能和算法系统的公共注册表。2021年11月，英国内阁办公室中央数字和数据办公室推出了国家算法透明度标准，实际上将充当一种公共注册表。国际上，最近提出的《人工智能法案》包含一项条款，要求独立的高风险人工智能应用程序在公共欧盟范围的数据库中注册。欧洲委员会有机会通过引入针对患者的医疗人工智能公共注册表来补充这些新兴的透明度标准，以提高患者对其公共服务当前使用的AI系统的意识。
收集敏感数据以进行偏见和公平性审计
与训练和测试数据中的差距相关的人工智能系统中的偏见可能会促使更多地收集关于受法律保护群体的敏感数据，以进行偏见和公平性测试。普遍接受的事实是，为了防止歧视性或有偏见的结果，必须收集关于敏感群体的数据。未能收集这些数据不会防止对受保护群体的歧视，但会使其更难检测。需要敏感数据来测试自动决策是否基于受保护属性（例如种族、残疾、性取向）对群体进行了歧视。另一方面，收集此类数据具有重大的隐私影响。这是一个合理的担忧，与历史上严重损害特定社会群体的令人不安的经历密切相关。例如，为研究和公共目的收集的数据促成了欧洲、英国和美国的优生学，二战期间的大屠杀，美国的种族主义移民政策和基本人权的剥夺，奴隶制的辩护，英国、美国、德国和波多黎各从20世纪初到中期的强制绝育，对LGBT成员的惩罚、阉割和监禁，以及对妇女平等权利和保护的剥夺（例如性暴力）。显然，必须认真对待收集敏感个人数据以进行偏见测试的隐私利益。
暂且搁置这些担忧，有人可能会认为，通过收集更多（敏感）数据并填补训练和测试数据集中的代表性差距，偏见问题将自然得到解决。然而，当代表性和其他数据偏差得到弥补时，公平和平等的结果并不会自动出现。意识到不平等并不等同于纠正它们。西方社会中持续存在的社会偏见表明，需要付出巨大的政治、社会和法律努力来克服它们，而不仅仅是更多的数据收集和测试。
纠正不平等需要有意且往往成本高昂的改变决策过程、商业模式和政策。为了证明进一步收集和使用敏感数据的合理性，首先必须展示出纠正不平等的严肃承诺和政治意愿。从标准制定的角度来看，这些观察表明，任何提议为测试医疗人工智能系统中的偏见而收集敏感类别数据，都必须有明确的目的限制和保密保证，并承诺纠正通过测试发现的社会不平等。实现这些承诺并不容易。例如，欧盟《人工智能法案》提议创建“监管沙盒”，人工智能提供商可以在其中使用专门收集的特殊类别数据测试其系统中的偏见。这一提议缺乏纠正发现的不平等这一关键要素。
下载布伦特·米特尔施塔特的报告 完整版本
(全文结束)
