AI系统越来越多地被应用于医疗保健的关键安全场景中。然而，这些模型有时会生成错误信息、做出有偏见的预测或因意外原因而失效，这可能会对患者和临床医生产生严重后果。在今天发表于《自然计算科学》的一篇评论文章中，麻省理工学院副教授Marzyeh Ghassemi和波士顿大学副教授Elaine Nsoesie认为，为了减轻这些潜在的危害，AI系统应该附带负责任使用的标签，类似于美国食品药品监督管理局（FDA）要求放置在处方药物上的标签。
MIT News采访了Ghassemi，讨论了为何需要这样的标签、它们应传达的信息以及如何实施标签程序。
为什么我们需要在医疗环境中为AI系统标注负责任使用标签？
在医疗环境中，我们面临一种有趣的情况，即医生经常依赖不完全理解的技术或治疗方法。有时候这种不理解是基础性的——例如，对对乙酰氨基酚的作用机制的理解；但有时这只是专业化的限制。我们不期望临床医生知道如何维护MRI机器，例如。相反，我们通过FDA或其他联邦机构的认证系统来认证特定环境下的医疗设备或药物的使用。
重要的是，医疗设备还具有服务合同——如果MRI机器校准不准确，制造商的技术人员会进行维修。对于批准的药物，有上市后的监测和报告系统，以便处理不良反应或事件，例如，如果很多人服用某种药物后似乎出现了某种疾病或过敏。
无论是包含AI还是不包含AI的模型和算法，都绕过了许多审批和长期监测过程，这是我们需要注意的问题。许多先前的研究表明，预测模型需要更仔细的评估和监测。特别是对于最近的生成式AI，我们引用的研究已经证明，生成结果并不总是适当的、稳健的或无偏见的。
由于我们对模型预测或生成的监控水平较低，因此更难以发现模型的不当响应。医院目前使用的生成模型可能存在偏见。使用标签是一种确保模型不会自动化从人类从业者那里学到的偏见或过去不准确的临床决策支持分数的方法。
您的文章描述了AI负责任使用标签的几个组成部分，这些标签遵循FDA创建处方标签的方法，包括批准用途、成分、潜在副作用等。这些标签应传达哪些核心信息？
标签应明确显示模型预期使用的时间、地点和方式。例如，用户应知道模型是在特定时间用特定时间点的数据训练的。例如，它是否包括或不包括COVID-19大流行期间的数据？大流行期间的健康实践非常不同，这可能会影响数据。这就是为什么我们主张披露模型的“成分”和“已完成的研究”。
关于地点，我们从先前的研究中知道，在一个地点训练的模型在转移到另一个地点时性能往往会更差。了解数据来源以及模型在该人群中的优化情况，可以帮助用户意识到“潜在副作用”、“警告和预防措施”以及“不良反应”。
对于旨在预测某一结果的模型，了解其训练时间和地点可以帮助您做出明智的部署判断。但对于许多极其灵活的生成模型来说，时间和地点可能不太有信息量，这时更多明确的“标签条件”和“批准用途”与“未批准用途”的说明就显得尤为重要。
如果开发人员评估了一个生成模型，用于读取患者的临床笔记并生成未来的计费代码，他们可以披露该模型对某些疾病的过度计费或对其他疾病的低估。用户不会希望使用同一生成模型来决定谁应该转诊给专家，即使他们可以。这种灵活性是我们倡导提供更多关于模型使用方式的详细信息的原因。
总的来说，我们提倡使用可用的工具训练最佳模型。但即便如此，也应有大量披露。没有模型是完美的。作为社会，我们现在理解没有任何药丸是完美的——总是存在一些风险。我们也应该对AI模型有同样的认识。任何模型——无论是否包含AI——都是有限的。它可能为您提供现实、训练良好的未来预测，但应适当考虑其局限性。
如果要实施AI标签，谁来进行标签，如何监管和执行？
如果您不打算在实践中使用您的模型，那么为高质量研究出版物所做的披露就足够了。但一旦您打算在面向人类的环境中部署模型，开发者和部署者应进行初步标签，基于一些已建立的框架。在关键安全设置如医疗保健中，部署前应验证这些声明，卫生与公众服务部的许多机构都可能参与其中。
对于模型开发者而言，知道自己需要标注系统的局限性会促使他们更加谨慎地考虑整个过程。如果我知道我最终需要披露模型训练的人群，我就不希望披露它仅在男性聊天机器人用户的对话上进行了训练，例如。
考虑数据收集对象、收集时间、样本量以及如何决定包含或排除某些数据，可以帮助您在部署时预见潜在问题。
(全文结束)
