超越ISO 14971的风险管理框架：为何AI医疗器械超出传统风险文件范畴
ISO 14971仍是AI医疗器械风险管理的基石，但AI医疗器械风险日益超出传统ISO 14971结构的范畴。二十多年来，该标准通过危害识别、风险评估、控制实施及剩余风险与临床获益的权衡，定义了医疗器械风险管理框架。这一结构持续支撑着CE认证、UKCA认证及全球合规评估。人工智能改变的并非对ISO 14971的需求，而是被管理系统的复杂性。
ISO 14971作为医疗器械风险管理核心已逾二十年。它提供结构化且可辩护的方法论：识别危害、分析危险情境、评估风险、实施控制措施，并判定剩余风险在临床获益背景下的可接受性。在我与医疗器械初创企业（尤其是软件主导型公司）的合作经验中，该结构依然至关重要，是CE认证、UKCA认证及全球合规评估的基础。人工智能并未改变ISO 14971的基础地位。
然而，过去几年反复显现的是：当人工智能进入临床路径时，现有框架在实践中往往需要扩展——并非被替代，而是被拉伸。本文延续我们早期博客《软件作为（或嵌入）医疗器械的风险管理须知》，反映Hardian Health在AI系统中观察到的常见模式。
人工智能的失效模式不同于传统器械
“人工智能的问题不在于不准确，而在于它可能自信地犯错”
传统医疗器械通常以可察觉方式失效：功能停止、警报响起或参数超出阈值。AI系统未必如此失效，它们可能继续运行、输出结果并呈现临床合理性——即便性能已发生偏移。
AI本质具有概率性。其性能取决于数据分布、训练假设及随时间演变的真实世界使用条件。实践中，问题常源于：
- 部署人群与训练数据存在差异
- 代理变量隐含非预期偏见（即便模型未显式使用种族或性别特征，其他变量仍可能间接反映这些因素，导致隐蔽的性能差异）
- 再训练治理规范不足
- 性能逐渐退化而未被察觉
AI系统可能产出看似临床合理且统计有效的错误输出。可能不存在明显系统错误——仅有一个以权威姿态呈现的错误预测。
ISO 14971在此场景中依然适用，但我们分析的危害类型比多数团队预期的更广泛，且常源于更上游环节。
多数AI风险文件的薄弱环节
若审视当前的AI医疗器械风险文档，结构往往令人安心：
- 传统的ISO 14971器械危害分析
- 网络安全风险评估
- 偏见讨论
- 上市后监测计划
- 直接关联风险管理的实际监管要求（如英国MDR基本要求及欧盟MDR通用安全与性能要求）
表面上内容完备——但缺失的往往是整合性。
常见情况是：14971器械危害分析与ISO/IEC 27001信息安全评估分离进行；NHS DCB 0129临床安全案例平行开发；欧盟AI法案条款后续附加；上市后监测计划未能实质反馈至再训练治理。
每份文档可能技术上站得住脚，但整体可能结构混乱。AI风险并不整齐归属于单一标准，它存在于数据与诊断、网络安全与临床结果、人工监督与自动化偏见、再训练与监管状态之间的交界地带。
当这些交界未被系统映射时，风险架构将变得脆弱——即便每份独立文档看似合规。
机器学习引入上游风险
BS/AAMI 34971指南（支持ISO 14971在机器学习中的应用）明确指出许多团队通过实践发现的事实：对机器学习系统而言，风险始于更早阶段。
实践中，部分最关键的安全问题出现在：
- 数据集选择与整理
- 标注与真实定义
- 特征工程
- 再训练治理设计
- 性能监控策略
在不完整或有偏数据上训练的模型并非传统意义的"失效"。它完全按设计运行——只是未必符合预期。
若风险管理实际始于部署而非数据溯源与模型开发阶段，则概念上可能不完整。
自主性改变风险方程式
并非所有AI在临床路径中行为一致。美国医学会《医疗健康中增强智能政策》强调：这些系统旨在支持而非取代临床判断。
实践中，AI工具可沿光谱分类：
- 辅助型系统：仅突出临床相关信息，完全由医疗专业人员解读
- 增强型系统：分析综合数据生成具临床意义的输出以辅助决策
- 自主型系统：解释数据并生成建议（有时主动执行操作），人工干预有限
随着系统自主性提升，风险性质随之改变。实践中，"人在回路中"常被误认为自动降低风险。实则自动化偏见与过度依赖仍会发生。
ISO 14971要求对风险控制措施本身进行风险评估。对AI系统而言，这种递归分析更为复杂：例如覆盖功能虽缓解一种伤害，却可能在其他环节引入工作流程或认知风险。
网络安全现已成为安全议题
对AI医疗器械而言，网络安全与患者安全紧密交织：
- 保密性影响信任与法律合规——一旦患者或临床人员认为数据未安全处理，采用率将骤降
- 可用性影响护理连续性——若系统在临床路径中宕机，将立即催生临时解决方案
- 完整性直接影响临床输出——若输入被篡改，模型仍可能产生自信但不可靠的结果
实践中，这些非抽象信息安原则，而是直接转化为患者安全影响。若数据输入被破坏，预测将改变；若再训练管道不安全，行为将偏移；若第三方库引入漏洞，底层安全假设可能失效。
安全风险必须明确映射至患者伤害场景。数据完整性破坏应纳入危害分析。再训练治理需体现于设计控制与变更管理流程。
此时，ISO 14971与ISO/IEC 27001不能再平行运作于信息孤岛中。
英国国家医疗服务体系（NHS）语境：治理而非仅合规
在英国，监管批准不保证NHS采用。AI系统必须在NHS治理结构内运行，该结构有其特定术语与期望。
与DCB 0129（制造商临床安全案例）和DCB 0160（采用方临床安全案例）对齐至关重要。临床安全官（CSO）必须明确培训、指派并担责。临床危害日志需可追溯。部署环境假设应显性化。
若风险文件未涉及：
- CSO角色与责任
- 临床安全案例报告结构
- 与NHS方法论对齐的危害ID
- NHS IT环境中的操作部署假设
- 电子健康记录系统的互操作性限制
- 主动与被动的上市后监测要求
则与NHS信托机构的讨论将显著复杂化。
NHS评估治理成熟度与监管合规同等重要。风险架构必须无缝转化为NHS语言，无需重新诠释。
欧盟AI法案与生命周期风险
欧盟AI法案将监管机构多年警示正式化：AI系统是动态的。
若您的AI医疗器械需经MDR/IVDR公告机构认证——则同样属于AI法案的高风险类别。这带来数据治理、生命周期风险管理、技术文档可追溯性及集成质量管理体系的明确义务。
因此，风险管理变为纵向延伸。
上市后监测必须指导再训练治理。再训练治理必须指导监管影响评估。变更控制必须反映模型演化。若风险文件呈现为静态产物——冻结在CE认证时点——则与其描述的适应性系统脱节。
一份文件还是五份？
AI医疗器械风险管理必须从"我们拥有风险登记表"演进至"我们构建集成风险架构"。
该架构为产品全生命周期（从开发到报废）整合：
- ISO 14971医疗器械风险
- 机器学习特定风险（BS/AAMI 34971）
- 信息安全风险（ISO/IEC 27001）
- NHS临床安全要求
- 欧盟AI法案义务
- 上市后监测与变更控制
并非在文档间重复列举危害，而是设计连贯框架：使数据风险映射至临床伤害、安全风险映射至患者影响、再训练映射至监管后果、上市后证据反馈至持续风险再评估。
ISO 14971仍是基石。依我之见，它仍是AI医疗器械风险管理的正确起点。
正在改变的并非对该标准的需求——而是它被要求管理的系统复杂性。
我们观察到最有效的组织，是那些不再追问"风险文件是否完成"，而是开始思考"整个管理体系是否围绕风险构建连贯结构"的团队。
【全文结束】
