AI系统越来越多地被用于关键安全的医疗环境。然而，这些模型有时会产生错误的信息，做出有偏见的预测，或因意外原因而失效，这可能对患者和临床医生产生严重后果。在今天发表于《自然计算科学》的一篇评论文章中，麻省理工学院（MIT）副教授Marzyeh Ghassemi和波士顿大学（Boston University）副教授Elaine Nsoesie认为，为了减轻这些潜在的危害，AI系统应附带责任使用标签，类似于美国食品药品监督管理局（FDA）要求在处方药上放置的标签。MIT新闻（MIT News）与Ghassemi讨论了为何需要这样的标签、标签应传达的信息以及如何实施标签程序。
问：为什么医疗环境中需要AI系统的责任使用标签？
答： 在医疗环境中，我们面临一种有趣的情况，医生经常依赖于他们并不完全理解的技术或治疗方法。有时这种不理解是根本性的，例如对对乙酰氨基酚作用机制的理解；但有时这只是专业限制的问题。我们不期望临床医生知道如何维护MRI机器，例如。相反，我们通过FDA或其他联邦机构的认证系统来认证特定环境下医疗设备或药物的使用。
重要的是，医疗设备也有服务合同——制造商的技术人员会修复校准错误的MRI机器。对于批准的药物，有上市后的监测和报告系统，以便应对不良反应或事件，例如很多人服用某种药物后似乎出现了某种状况或过敏反应。模型和算法，无论是否包含AI，都绕过了许多这些审批和长期监测过程，这是我们需要注意的。许多先前的研究表明，预测模型需要更仔细的评估和监测。特别是对于最近的生成式AI，我们引用的研究表明，生成结果并不总是适当的、稳健的或无偏见的。由于我们对模型预测或生成的监控水平较低，因此更难发现模型的不当响应。目前医院使用的生成模型可能存在偏见。使用标签是一种确保模型不会自动化从人类从业者或过去的临床决策支持评分中学到的偏见的方法。
问：您的文章描述了AI责任使用标签的几个组成部分，遵循FDA创建处方标签的方法，包括批准用途、成分、潜在副作用等。这些标签应传达哪些核心信息？
答： 标签应明确指出模型预期使用的时间、地点和方式。例如，用户应知道模型是在特定时间用特定时间点的数据训练的。例如，它是否包括或不包括新冠疫情期间的数据？新冠疫情期间的健康实践非常不同，可能会影响数据。这就是我们主张披露模型“成分”和“已完成研究”的原因。
关于地点，先前的研究表明，一个地点训练的模型在转移到另一个地点时性能往往较差。了解数据来源以及模型在该人群中的优化情况，可以帮助用户意识到潜在的副作用、警告和预防措施以及不良反应。对于训练用于预测某一结果的模型，了解训练时间和地点可以帮助您做出明智的部署判断。但对于许多极其灵活的生成模型，时间和地点可能不太具有信息价值，因此更明确的方向关于“标签条件”和“批准用途”与“未批准用途”就显得尤为重要。如果开发人员已经评估了一个生成模型用于读取患者的临床笔记并生成未来的计费代码，他们可以披露该模型对某些条件的过度计费或对其他条件的低估。用户不会希望使用同一个生成模型来决定谁应该转诊给专家，即使他们可以这样做。这种灵活性是我们主张提供更多关于模型使用方式细节的原因。
总体而言，我们主张您应该使用可用工具训练最好的模型。但即便如此，也应该有很多披露。没有模型是完美的。作为社会，我们现在理解没有药丸是完美的——总是存在一些风险。我们也应该对AI模型有同样的理解。任何模型，无论是包含AI还是不包含AI，都是有限的。它可能会为您提供现实的、训练良好的未来预测，但您应该根据适当的程度来接受这一点。
问：如果实施AI标签，谁将进行标签标注，标签将如何监管和执行？
答： 如果您不打算在实践中使用您的模型，那么您只需进行高质量研究出版物所需的披露即可。但一旦您打算在面向人类的环境中部署您的模型，开发者和部署者应根据一些已建立的框架进行初步标签标注。在关键安全的医疗环境中，部署前应验证这些声明，许多卫生与公共服务部的机构可能会参与其中。
对于模型开发者来说，知道自己需要标注系统的局限性会促使更谨慎地考虑整个过程。如果我知道在某个时候我需要披露模型训练的人群，我就不希望披露它仅基于男性聊天用户对话进行训练。
思考数据收集的对象、时间段、样本量以及如何决定包括或排除哪些数据，可以让你在部署时意识到潜在问题。
(全文结束)
