英普利沃特公司首席医疗官肖恩·凯利医学博士反思了在医疗保健中部署自主型人工智能的必要考量。
医疗系统正承受巨大压力。临床医生、护士和工作人员正应对日益复杂的诊疗流程、不断增长的文书工作、人员短缺以及已濒临崩溃的工作流程。当新技术承诺减轻负担并提高效率时，我们自然会迅速关注。这正是当下人工智能在医疗领域特别引人注目的部分原因：我们需要帮助，而人工智能在许多方面已开始提供支持。
迄今为止，讨论主要集中在辅助性应用场景：环境文档记录、摘要生成、决策支持等提升临床效率的工具。这些应用至关重要，许多已展现出实际价值。但医疗人工智能的下一阶段截然不同——我们正从支持决策的系统转向能够开始执行操作的系统，此时风险性质随之改变。
自主型人工智能
自主型人工智能指不仅能识别任务、推荐下一步操作，更能实际执行任务的系统。这类系统可发起行动、跨工作流程传递信息、触发通讯，甚至在某些情况下无需过多人工干预即可完成操作任务。在恰当场景下，这能显著减少诊疗摩擦，降低行政负担，提升响应速度，帮助超负荷团队更高效运转。我对这一前景持乐观态度，但也认为我们必须清醒认识其挑战。
在医疗领域，不存在纯粹的行政工作流程，这正是许多风险被低估的根源。表面上看，似乎可以从"低风险"操作场景而非临床场景入手部署自主型人工智能。排班就是一个典型例子：初看属于行政事务，但在医学中，排班决策也可能带来严重临床后果。
试想：一名新发腿部肿胀的患者被转诊进行超声检查。人工智能系统将检查安排在下周。从任务完成角度看，系统运作正常。但如果该患者的肿胀实际由深静脉血栓引起，在检查前血栓已迁移至肺部，导致患者因肺栓塞住进重症监护室呢？
这并非假设性极端案例，而是临床医生担忧的真实情境——细节决定一切。排班决策的紧迫性取决于结构化数据可能无法体现的关键信息：症状特征、合并症、病史变化，以及关于何时必须干预的专业判断。
责任归属问题
若人工智能代理做出排班决策，谁该承担责任？是开具医嘱的医生？传统上负责排班的工作人员？批准该工作流程的医疗系统？启用该功能的技术供应商？配置人工智能的团队？更重要的是，当干预仍具时效性时，是否有真实人类审阅过该决策？医疗自主型人工智能的核心问题不仅在于系统能执行操作，更在于它能在看似微小的决策可能对患者安全产生隐蔽连锁反应的工作流程中运作。
类似担忧也适用于其他表面简单实则复杂的场景。以收件箱管理和药物续方流程为例：多数消息属常规事务，多数续方请求合理，但高频率任务中潜藏着最关键的例外情况。一则看似轻微的患者门户消息，可能实际描述着糖尿病患者的无症状心肌梗死症状；看似自动的续方请求，可能因患者未进行肾功能检查而变得危险。此时工作流程已非行政事务——它已转变为临床决策。若自主系统无法可靠识别这种转变，风险将迅速滋生。
这并非反对自主型人工智能的论据。实际上，我认为这些技术具有巨大潜力，能帮助减轻医护人员负担，而医疗系统亟需此类支持。但我们必须坦诚面对风险所在。挑战不仅在于人工智能代理在狭义技术层面是否准确，更在于它能否在时间、情境和例外情况与任务本身同等重要的复杂诊疗环境中安全运行。这意味着治理不能仅停留在纸面政策，而必须成为可操作的实践。
自主型人工智能管理最佳实践
医疗领域早已掌握高风险环境运作方法：我们依赖规程、权限、监督、升级路径、审计机制和明确定义的执业范围。我们不会赋予系统中每位人类参与者无限权力，对人工智能代理亦应如此。
初期，自主系统应严格限定权限：仅允许在明确定义条件下执行特定授权任务，并内置人工监督。在多数情况下，"人在回路中"不应是象征性检查点，而应成为工作流程的实质环节。这并非技术失败的标志，而是医疗系统在后果真实存在时管理责任与安全的固有方式。
未来，部分机构可能希望对某些操作不再进行人工逐项审核。对于理解透彻的工作流程，这或许合理。但若要实现这一点，必须建立适当管控机制：始于身份认证、访问控制、实时监控和可审计性。若人工智能代理要在临床或操作系统中行动，必须具备明确定义的身份、严格限定的权限集，以及关于行动时机、数据访问范围和操作追踪的清晰规则。系统行为应可观察、偏差应可检测、操作应可追溯，且必须保留随时暂停、覆盖或撤销权限的途径。
换言之，我们需要将人工智能代理视为诊疗环境的参与者而非后台软件进行治理。这正是许多机构需要转变思维之处。问题不应仅是"该代理能做什么"，更应是"在何种条件下我们可信任其执行操作"。
医疗领域历来对介入临床工作流程的技术保持谨慎，原因充分：摩擦令人沮丧，但不安全的自动化更为危险。若自主型人工智能要在医疗领域成功，关键不在于速度，而在于能否在患者诊疗的现实约束下安全、可预测且可追责地运行。这才是根本标准——"首先，不伤害"。
人工智能必将更大程度融入医疗，我对此深信不疑。但当系统从提供建议转向直接行动时，我们已进入责任界定的新范畴。此时我们评估的不再是辅助工具，而是引入系统的新型操作主体。任何能在医疗领域执行操作的事物，都必须接受相应治理。
【全文结束】
