玛丽莎·迪亚兹(Maritza Diaz)，ITJ公司首席执行官。
在过去的几年中，我与为生命科学公司构建软件的工程团队合作。我注意到的一个最令人沮丧的模式是：当一个团队在开发过程中验证了AI功能后，却发现通过模型验证和通过监管审计是两个截然不同的里程碑。
想象一家公司正在推出一款AI驱动的临床工作流程工具。该模型达到了其性能目标并获准向前推进，但FDA（美国食品药品监督管理局）审计却发现其文档链不符合《美国联邦法规第21章第11部分》(21 CFR Part 11)的要求。
随着AI从实验阶段进入受监管的医疗环境，这种情况正变得越来越普遍。
合规差距
AI在生命科学领域的应用正在加速，从临床工作流程到质量系统和制造运营。
挑战在于，推动这一转型的许多工具最初是为商业软件环境构建的，在这些环境中，速度往往比问责制更重要，而不是为受监管的环境设计的。
当AI影响到患者、产品质量、制造记录或监管申报的决策时，这种区别变得至关重要。
根据我的经验，大多数合规失败的根本原因并非底层技术或工程团队。相反，生命科学公司通常采用为灵活性和可扩展性设计的AI基础设施，而没有充分考虑受监管环境所要求的可追溯性、可审计性和变更控制要求。
随着监管机构为AI系统制定更明确的指南，这一差距变得越来越难以忽视。例如，FDA关于AI设备软件功能的指南强调了生命周期管理、透明度和文档的重要性，而欧盟的《人工智能法案》(AI Act)则对全球高风险AI系统施加了类似的审查。
无论底层技术如何，监管机构始终关注AI生成输出的责任归属。
为何传统软件思维不适用
同样，我经常看到团队将AI验证视为传统软件质量保证。
当软件行为是确定性的（即给定输入产生给定输出，并可直接追溯到代码变更）时，这种方法是有效的。AI系统则表现不同：模型会漂移，数据会变化，即使没有新代码，性能也可能发生变化。
我曾与一些团队交谈，他们认为在发布前完成验证就足以满足未来的审计。让他们惊讶的是，监管机构不仅关注模型在测试期间的表现，同样关注其在部署后的行为。例如，AI需要进行"上市后监测"。
即使模型最初有效，组织也必须能够持续证明对其的控制。这是一个根本不同的工程挑战。
合规AI实际需要什么
在实践中，四项能力将审计准备就绪的系统与那些在监管审查下挣扎的系统区分开来。
第一是端到端可追溯性。每个有意义的输出都应该与其源数据、模型版本、验证记录和部署配置相关联。当审计员询问建议是如何生成的时，团队应该能够在不手动重构事件的情况下回答。
第二是可控的模型演进。FDA的"预先确定的变更控制计划"(Predetermined Change Control Plan, PCCP)框架要求公司在变更发生前就考虑未来的模型变更：如何管理重新训练、允许哪些修改、谁批准这些修改以及如何验证这些变更。
人类监督也很重要：在受监管的工作流程中，AI不能作为"黑箱"运行。临床医生、质量工程师和监管机构需要了解系统如何得出结论。
最后是性能透明度。团队通常关注准确性，而忽视了传达限制的重要性。结构化文档，如"模型卡片"(model cards)，有助于捕捉训练数据特征、性能指标、已知限制和特定人群的考虑因素。
工程团队常见误判之处
当合规问题出现时，它们很少是由单一的灾难性决策引起的。更常见的是，它们是不同部门独立做出的几个合理决策的结果。
一个常见的例子是组织分离：数据科学团队构建模型，工程团队构建系统，质量团队处理合规性，监管团队准备申报材料。每个团队可能都做得很好，但如果在主要架构选择已经做出后才共同决策，它们就无法提供帮助。
我曾看到一些公司在开发后期才发现，他们选择的平台无法轻松支持监管机构期望的文档链。在这种情况下，补救措施的成本将远高于从一开始就建立正确的基础。
另一个常见的误解是假设功能正常的AI功能自动就是可申报的。一个模型可能表现极其出色，但仍然缺乏支持监管审查所需的证据包。
技术领导者实用框架
考虑到这些挑战，团队可以采取以下步骤，从一开始就确保构建符合监管要求的系统：
1. 早期架构设计考虑合规性。 可追溯性、身份验证、审计跟踪和文档要求应该在架构阶段就嵌入，而不是在MVP（最小可行产品）已经构建后才添加。事后增加合规性几乎总是比从一开始就为合规性设计更昂贵。
2. 早期创建跨职能治理。 工程、研发、质量和监管团队应该从一开始就共同负责AI决策。
3. 记录生命周期，而不仅是结果。 保持对训练数据集、验证过程、监控策略、性能趋势和漂移管理计划的可见性至关重要。在受监管的环境中，模型的历史往往与其当前性能同样重要。
4. 投资理解两个领域的人才。 在与医疗技术领导者的早期对话中，我经常听到关于应该采用哪种AI平台或工具的问题。在我看来，这不是正确的起点。技术选择固然重要，但人才更为重要。拥有既理解软件开发又理解IEC 62304（医疗器械软件生命周期过程标准）和ISO 13485（医疗器械质量管理体系标准）等监管框架的工程师，团队将更好地理解为什么文档是工程过程本身的一部分。
约束中的机遇
我们花费大量时间讨论当今的AI工具是否已准备好用于受监管的医疗保健，但更重要的问题是，组织是否正在构建支持这些工具离开实验室后所需的团队、流程和治理。
成功很少取决于拥有最先进的模型，而是取决于建立问责制、可追溯性和操作纪律，以长期支持该模型。
创新仍然至关重要，但在生命科学领域，信任才是最终推动采用的关键因素。
【全文结束】