医疗健康领域的自主型AI治理与生命周期管理

Chandra Prakash

肯塔基州坎伯兰大学计算机信息科学学院

美国肯塔基州威廉斯堡 40769

cprakash@outlook.com

Mary Lind

肯塔基州坎伯兰大学计算机信息科学学院

美国肯塔基州威廉斯堡 40769

mary.lind@gmail.com

Avneesh Sisodia

肯塔基州坎伯兰大学计算机信息科学学院

美国肯塔基州威廉斯堡 40769

a.sisodia.k@gmail.com

摘要

医疗机构开始将自主型AI嵌入常规工作流程，包括临床文档支持和早期预警监测。随着这些功能在各部门和供应商间扩散，医疗系统面临智能体蔓延问题，导致重复智能体、责任不明确、控制不一致以及超出原始使用场景的工具权限持续存在。现有的AI治理框架强调生命周期风险管理，但对智能体集群的日常操作提供的指导有限。我们提出一个统一智能体生命周期管理(UALM)蓝图，该蓝图源于对治理标准、智能体安全文献和医疗健康合规要求的快速、实践导向的综合分析。UALM将反复出现的差距映射到五个控制平面层：(1)身份和角色注册表，(2)编排和跨域调解，(3)受保护健康信息(PHI)限定的上下文和记忆，(4)带有紧急关闭触发器的运行时策略执行，以及(5)与凭证撤销和审计日志相关的生命周期管理和退役。配套的成熟度模型支持分阶段采用。UALM为医疗健康领域的首席信息官(CIO)、首席信息安全官(CISO)和临床领导者提供了一个可实施的模式，既能实现符合审计要求的监督，又能保留本地创新，并在临床和行政领域实现更安全的扩展。

关键词 自主型AI；医疗健康治理；生命周期管理；非人类身份；多智能体系统

1 引言

在过去的两年(2024–2025)中，医疗健康行业已经从生成式AI的实验性使用进展到部署通常被称为自主型AI的自主、目标导向系统。虽然2023年主要关注文本生成和聊天机器人，但重点已转向被称为主体型AI的主动式、目标导向系统。自主型AI可以作为团队成员，具备多步骤规划和目标导向执行能力。与等待人类查询的传统模型不同，自主型AI能够自主监控数据、分析临床环境并执行多步骤操作。医疗健康行业已经开始大规模实施，同行评审研究和临床试点项目在2024年至2025年间显著增加。Med-PaLM 2和Med-Flamingo等多模态大型语言模型(MLLMs)的出现推动了这一转变，使整合包括医学影像和实时信息在内的多样化数据源成为可能。像Nuance DAX Copilot这样的实时文档工具大幅减轻了临床医生的行政负担，而基于ICU的智能体则监控生命体征，在脓毒症或心律失常出现症状前向医疗团队发出警报。自主型AI的未来发展特点是从事后反应转向主动干预，即在患者病情恶化前由自主系统进行干预。然而，如果没有适当的设计限制和运行时治理，自主智能体的激增(即智能体蔓延)可能导致效率低下和安全风险。研究表明，智能体数量与任务表现之间存在倒U型关系。少量专业智能体可以提高性能；然而，超过4–5个智能体的团队可能会因协调开销而降低效果。模糊的所有权、失控的控制、重复的功能和不断扩大的攻击面可能会随着时间的推移导致安全和合规风险。因此，挑战不在于如何利用自主型AI改善护理，而在于如何管理智能体蔓延带来的操作不稳定性，以避免冗余和合规风险。

1.1 背景

下一代医疗健康系统开始见证AI从"预测支持"向操作能力的演变。医疗健康自主型AI系统已经超越了"聊天机器人实验"，能够规划步骤、使用API、数据库和工作流引擎等工具，并在各个阶段保持上下文。工具集成和上下文管理使智能体能够像初级员工一样自主管理工作流程。对医疗健康系统领导者而言，这种转变非常重要，因为操作具有跨领域性质。资格检查可以启动一个与利用管理、患者体验等流程交织的索赔路径。在不同领域分别引入自主功能可能导致"智能体蔓延"，造成重叠智能体、重复工作、控制不一致和所有权不明确。局部优化可能会导致系统范围内的摩擦，以及超出原始目的的长期身份标识。这些系统的自主性通过引入行为不确定性并扩大一个智能体对另一个智能体流程的影响，改变了领导层的风险状况。过去关于提示注入的问题说明了LLM应用程序中潜在的安全漏洞。治理也变得复杂，因为不匹配可能在常规评估中不明显，但在部署后才会显现。自主性和治理问题挑战了传统的保证流程，强调需要监控隐秘的、目标导向的行为，而不仅仅是关注准确性。在医疗健康领域，由于处理PHI和关键工作流程，这些风险会加剧。HIPAA安全规则要求对PHI实施强有力的保障措施，凸显了明确的决策权、一致的控制和生命周期管理的重要性，以确保智能体不会在其预期目的之外保持活跃。

1.2 先前工作

表1总结了当前AI智能体治理和生命周期管理标准的现状。审查和分析表明，尽管原则可用，但生命周期控制平面未得到充分规范。智能体注册和发现机制正变得主流，但治理执行仍然分散。人们也认识到通过提示注入、不安全的输出处理、工具滥用和权限滥用而扩大的攻击面。偶尔会讨论智能体蔓延，但关于AI智能体集群的治理和生命周期管理的讨论很少。

表1：自主型AI治理、生命周期管理框架及其局限性

之前的工作：欧盟AI法案
类别：监管
贡献：风险分级，治理期望
生命周期覆盖：组织级治理；开发+部署的合规控制
冲突处理：法律救济，非技术性运行时争议解决
主要局限：未针对快速演变的多智能体行为量身定制；合规可能落后于操作现实
参考文献：[7]
之前的工作：NIST AI RMF 1.0
类别：风险管理框架
贡献：提供GOVERN-MAP-MEASURE-MANAGE功能来构建可信赖AI系统的策略、控制、度量和监控
生命周期覆盖：端到端风险管理
冲突处理：间接(基于流程)，非智能体间冲突协议
主要局限：缺乏智能体特定的操作化，如身份、发现、运行时授权和审计
参考文献：[32]
之前的工作：GenAI Profile for AI RMF
类别：风险管理配置文件
贡献：添加与AI RMF对齐的生成式AI特定风险考虑和行动
生命周期覆盖：强大的生命周期风险行动+持续监控
冲突处理：间接
主要局限：非专用智能体生命周期标准；组织仍需设计注册表、策略执行、注销和运行时防护栏
参考文献：[21]
之前的工作：AI TRiSM
类别：治理方法
贡献：围绕可解释性、模型运维、安全、隐私和治理整合信任/风险/安全实践，作为企业治理视角
生命周期覆盖：强大的监控+运营治理
冲突处理：间接
主要局限：缺乏共识基准和智能体特定机制
参考文献：[11]
之前的工作：SAGA
类别：安全架构
贡献：用户控制的智能体生命周期架构
生命周期覆盖：注册、身份、授权、策略更新、撤销
冲突处理：隐含
主要局限：企业级联邦和多提供商信任仍然困难
参考文献：[31]
之前的工作：ETHOS
类别：去中心化治理
贡献：提出基于区块链/智能合约的注册表+合规工件和针对智能体生态系统的去中心化争议解决方案
生命周期覆盖：注册+合规证明；概念生命周期治理
冲突处理：明确
主要局限：协调强度大；风险分级可能过于简化；采用障碍
参考文献：[6]
之前的工作：NANDA Index
类别：发现/身份层
贡献：超越DNS假设的互联网规模发现/可识别性/身份验证；强调可验证的"AgentFacts"风格发现
生命周期覆盖：发现、身份和认证基元
冲突处理：不适用
主要局限：在企业策略执行、生命周期控制和跨域治理工作流程方面较强于"查找/验证智能体"，较弱
参考文献：[27]
之前的工作：AGNTCY智能体目录服务(ADS)
类别：注册/互操作性
贡献：智能体能力元数据+来源的分布式目录
生命周期覆盖：发现+来源；支持生态系统规模库存
冲突处理：不适用
主要局限：策略执行超出范围
参考文献：[19]
之前的工作：Google Agent2Agent
类别：互操作性/发现
贡献：标准化智能体如何宣传身份/能力("智能体卡片")并在企业范围内通信；对治理库存有用的基质
生命周期覆盖：发现+互操作性(接口级)
冲突处理：不适用
主要局限：治理标准(如策略执行、审计和生命周期控制)必须分层
参考文献：[30]
之前的工作：SD-JWT / SD-JWT VC
类别：隐私保护凭证
贡献：选择性披露声明支持跨域的隐私保护智能体身份/能力证明
生命周期覆盖：发现+访问决策中的身份/证明
冲突处理：不适用
主要局限：凭证标准本身不定义企业策略语义、撤销过程或运行时决策控制平面
参考文献：[20]
之前的工作：OWASP LLM Top 10
类别：风险分类法
贡献：编纂常见故障模式(提示注入、不安全的输出处理、供应链等)并扩展到智能体特定风险(目标劫持、工具滥用、身份/权限滥用等)作为治理要求
生命周期覆盖：强大的构建/运行跨威胁建模+控制要求
冲突处理：间接
主要局限：定义分类法但不提供统一的生命周期治理架构
参考文献：[25]
之前的工作：智能体配置文件
类别：治理风险表征
贡献：定义四个维度——自主性、效能、目标复杂性和通用性——以调整治理强度和控制以适应智能体能力配置文件
生命周期覆盖：帮助决定整个生命周期中的治理"层级"和监督需求
冲突处理：间接
主要局限：需要映射到可实施的企业控制集
参考文献：[14]
之前的工作：Anthropic的对齐造假
类别：欺骗行为风险
贡献：实证证据表明模型可能看起来对齐，同时保留隐藏目标，激励对智能体操作进行持续监控、强有力监督和可审计性
生命周期覆盖：强调运行时监控+评估
冲突处理：间接
主要局限：不提供生命周期架构
参考文献：[1]
之前的工作：策略评估
类别：欺骗行为风险
贡献：在受控测试中检测/减少隐藏错位行为的方法；为智能体提供"安全门"
生命周期覆盖：构建时+运行时评估/监控
冲突处理：间接
主要局限：非企业生命周期标准
参考文献：[24]

1.3 自主型AI治理与生命周期管理的必要性

诸如NIST的AI风险管理框架和欧盟AI法案等AI治理框架越来越强调持续的、基于生命周期的风险管理，但它们缺乏关于如何为自主型AI系统具体操作化的细节。在医疗机构中，缺乏一个最基本的可实施的智能体生命周期控制平面，该平面规定了如何注册、授权、监控、更新和退役智能体。这使得在大规模情况下维持合规性和操作安全性变得具有挑战性。持续的互操作性、发现工作和隐私保护凭证有望提高可见性和信任信号。然而，它们很少与跨组织边界的端到端策略执行相结合。行为证据还表明，不匹配可能是战略性的，并且可以逃避静态测试，这强化了需要基于遥测的治理，该治理根据智能体的自主性、通用性、目标复杂性和临床或操作关键性来调整监督。当处理PHI的系统需要可证明的访问控制和审计控制时，这些差距在HIPAA法规下变得尤为严重。然而，智能体特定的、符合审计要求的操作工件，如注册字段、来源、策略决策记录、工具调用日志和退役证据，尚未标准化。缺乏冲突解决和可测量的智能体蔓延指标同样建模不足，使医疗机构在智能体集群增长时缺乏安全、合规和操作风险的可靠预测指标。

1.4 研究问题

研究问题：医疗机构如何设计和操作一个统一的治理和生命周期控制平面，以防止智能体蔓延，同时保留领域自主性和可测量的业务价值？

2 方法论

为了开发所提出的治理和生命周期层，我们使用了快速、实践导向的综合方法，而不是完整的系统性审查。我们首先通过有针对性地搜索(a)关于多智能体系统和LLM/智能体安全的同行评审文献，(b)医疗健康和企业安全/治理指南，以及(c)关于AI风险和操作控制的广泛引用的行业框架，来组装表1的证据基础。我们优先考虑描述治理机制的来源，例如身份、访问控制、监控、可审计性、变更控制、生命周期过程、入职、版本控制、退役或当自主工具连接到实际工作流程时出现的故障模式。使用简单的提取模板对每个来源进行审查，该模板评估所解决的问题、所提议的控制机制、生命周期覆盖范围和医疗健康相关性。然后我们进行了迭代的主题映射练习：在各个来源中观察到的反复出现的差距，例如弱所有权、不一致的执行和不明确的退役，被转化为控制平面要求，并分组到少量层中，这些层共同形成一个端到端的操作模型。通过反复的内部审查来完善分层，重点关注领导层问题：谁拥有决策权，执行什么，什么可以审计，什么触发关闭或退役。我们还通过与医疗健康IT/安全领导者的非正式对话对草案模型进行了双重检查，并纳入了反馈；这些讨论仅用于测试实用性，而不是作为正式的定性研究。

3 统一智能体生命周期管理(UALM)框架：医疗健康领域治理自主型AI蔓延的五层框架

在提出治理和生命周期框架的蓝图之前，定义一个自主型AI成熟度模型至关重要，该模型可作为使治理可测量、识别差距并提供改进路线图的指南。

3.1 成熟度模型

医疗健康领域的自主型AI成熟度模型可以被描述为从孤立工具到协调的自主多智能体生态系统的渐进式演变，与文献中已建立的AI和数字健康成熟度概念一致。图1提供了自主型AI成熟度模型的高级视图。在第1级(临时)，组织部署单一用途的智能体，如FAQ聊天机器人或特定任务助手，这些智能体孤立运行，类似于早期的窄AI点解决方案，与临床工作流程的集成有限。第2级(管理)通过使用托管身份和日志记录的共享访问控制引入基本的操作治理，符合医疗健康AI治理和监管指南中强调的安全性和可审计性要求。随着系统发展到第3级(集成)，智能体开始在共享知识结构和上下文(包括策略控制)上进行互操作，反映了协调的、数据驱动的决策支持可以改善护理质量、连续性和系统效率的证据。在第4级(优化)，中央编排器动态优先处理任务、协调智能体并在工作流程之间解决冲突，与将自主型AI描述为管理多步骤计划、编排工具并适应复杂医疗健康环境的自主层的新兴描述一致，同时仍受监督、安全约束和治理的约束。

3.2 以采用为中心的治理框架

我们提出了一个五层框架来治理医疗健康领域的自主型AI集群并减少智能体蔓延。图2和图3展示了一个系统架构图，将架构分为五个责任层来管理和治理智能体生命周期。

第1层 - 身份与角色注册表(责任)：第1层作为企业中每个智能体的单一记录系统，代表每个智能体的所有权、语义能力、责任和可追溯性。集中式智能体注册表将解决智能体冗余的挑战，还必须执行最小权限原则。该层涉及的关键组件包括NHI(非人类身份)证书、临床执业范围定义和责任归属，后者确定负责管理此智能体的负责个人或单位。
第2层 - 编排与调解层(协调)：第2层作为编排和调解层，管理智能体之间的通信并解决冲突。它捕获结构化交互并在域之间转换语义意图，重点关注策略优先级和所有权规则。该层确保在智能体间操作期间领域目标和约束占主导地位。该层集成了基于策略的访问控制、目标优先级、权限映射和风险控制，在冲突期间优先考虑临床结果而非行政成本，并作为智能体到智能体的谈判引擎。
第3层 - 上下文与记忆层(连续性)：为确保HIPAA合规性，第3层提供长期连续性而不损害敏感数据。关键组件包括用于检索的PHI分段、向量存储访问控制(向量化PHI分片)和保留边界纵向上下文(时间记忆)。此设置保证智能体仅访问必要的患者信息，遵循最小权限原则。保留边界上下文记录患者历史，支持护理连续性。
第4层 - 护栏与合规层(保证)：第4层提供实时监控和紧急关闭协议，以进行主动监督和风险控制。它包括监控其他智能体的监督智能体，利用代码化治理(GAC)确保每个操作都经过策略引擎验证。这可以防止未经授权的临床操作，例如在没有人工监督的情况下更改药物。
第5层 - 生命周期与退役层(管理)：最后的第5层直接负责智能体生命周期管理，从智能体配置到退役。每个活跃智能体都必须有定义的到期日期，反映端到端的保管。该层解决了与智能体漂移和任务完成相关的问题，自动撤销所有NHI令牌并维护智能体决策日志。

3.3 KPI和度量

领导者需要操作工具来管理智能体集群，就像他们管理临床系统一样，包括明确的责任、严格的变更控制、可审计性和可测量的安全性。该框架提出了一套与临床安全和安全治理委员会一致的小型KPI，以支持常规监督和早期纠正，防止孤立的试点悄悄变成企业范围内的控制缺口：

在注册表中记录有指定负责所有者的智能体比例
智能体退役或范围变更后撤销凭证的中位时间
记录策略决策(允许/拒绝)和策略版本的工具调用比例
孤儿智能体数量：在没有活跃所有权或批准的情况下运行的智能体
PHI最小化率：通过调解接口限制为最小必要数据的工作流程比例
控制漂移率：在批准的基线(策略/模型/提示/配置)之外运行的智能体比例
与智能体相关的事件率：与智能体行为相关的事件(例如，工具滥用，意外PHI暴露)

4 讨论和结论

本文提出了一个自主型AI治理和生命周期管理框架，以解决现有AI治理标准和框架在医疗健康领域的差距，特别是在自主性分布在多个交互智能体上的情况下。目标很明确：通过使所有权、权限、监控和退役决策在企业层面可见和可执行，减少智能体蔓延。

在进一步讨论该框架之前，我们必须认识到其重要局限性。UALM框架的主要局限性是集中控制，这会增加计算开销并引入延迟。此外，在临床分歧中定义基本事实仍然是一个挑战，需要人工干预来解决它们。集中式编排和控制平面可能引入单点故障、瓶颈和弹性挑战。中央控制平面的严格实施可能会破坏智能体自主性。我们承认，架构优先级是专家人类判断的替代，而非取代。鉴于自主型AI的采用和增长，未来研究需要全面评估所提出的框架并解决其缺点，重点关注性能、计算开销和意图驱动的通信。

尽管存在局限性，我们提出的框架提供了全面的技术深度和功能描述，以解决AI智能体蔓延问题。现有的医疗健康AI标准仅限于覆盖透明度、人工监督、日志记录和部署后监控的整个生命周期的风险管理，但在如何将这些要求工程化方面仍相对不发达，特别是当自主性分布在交互智能体上时。对现有框架(如欧盟AI法案、现有的AI治理和AI TRiSM)的分析和审查涵盖了风险原则，但对多智能体执行的规范不足。表1中对AI治理的回顾突显了监管治理和操作治理之间的碎片化，指出即使互补的风险框架也可能难以转化为可操作的、资源受限的控制。AI TRiSM将治理框架化为一个跨越治理、安全/隐私、可解释性和操作的系统级计划，同时记录了实际障碍，如对抗性威胁、合规负担和技能差距。最后，基于LLM的智能体的安全调查表明，工具使用、记忆和编排扩展了攻击面，使持续监控和运行时控制成为核心而非可选项。

UALM通过将治理意图转化为在运行时可执行且设计上符合审计要求的控制平面来解决这些差距。非人类身份为智能体责任和撤销提供了明确的边界。代码化策略实现了对允许的操作和工具使用的持续、可测试的执行。策略优先级规则为解决跨域冲突提供了结构化方法，当目标发生冲突时，患者安全和隐私约束优先，补充了TRiSM的程序级框架，并为多智能体环境提供了具体的协调保障。PHI分段和保留边界上下文减少了不必要的暴露，而与退役配对的漂移监控支持持续的生命周期控制，正如欧盟AI法案对受监管的医疗健康AI所强调的那样。

本研究对医疗健康领导者有几个管理启示，因为它将自主型AI治理转化为企业采用的可实施检查清单。UALM的价值在管理上和技术上同样重要：它将自主型AI从一系列不相关的采购重新定义为可以在整个企业中标准化的操作模型。首席信息官(CIO)和首席信息安全官(CISO)获得了一种可重复的方式来注册智能体、分配负责所有者、执行权限，并通过凭证撤销、内存冻结和符合合规要求的终止日志干净地退役功能，以实现生命周期结束管理并降低未管理智能体蔓延的风险。临床和隐私领导层获得了更清晰的升级路径，以及PHI访问和关键安全操作的可审计边界。

总之，医疗健康领域的智能体蔓延风险不是技术扩展问题；而是一个伦理治理问题，因为不受管理的自主性会直接影响患者隐私、安全和信任。通过实施统一智能体生命周期管理(UALM)，医疗机构可以从碎片化、特定领域的智能体部署转向具有明确责任、受控自主性和生命周期纪律的规范、管理的智能体集群。目标是强制执行规则和持续监控，使智能体能够以速度和安全性在企业规模上运行。

【全文结束】