两年多来,一家丹麦公司的人工智能技术一直在未经西雅图居民知情的情况下监听他们的911医疗呼叫。
西雅图消防局一直在使用该公司的AI技术,帮助调度员决定哪些呼叫者不需要快速响应。
科蒂公司的技术提示调度员将某些911患者转接到由护士值守的德克萨斯州呼叫中心,而不是立即派遣救护车。它分析患者所说的内容,在某些情况下,还会通过弹出式警报提示调度员。
消防局在5月下旬确认,这一过程在没有任何向呼叫者披露和公众审查的情况下发生,距离《西雅图时报》开始询问该话题已有两个月。
此外,消防官员无法解释他们如何衡量该技术的成功与否,或者他们与科蒂当前的合同是什么样子,这进一步使居民处于信息盲区。
"这家公司可能成为西雅图911呼叫者体验的一部分而他们却不知道,这引发了严重担忧,"华盛顿大学法学教授、该校科技政策实验室联合主任瑞安·卡洛表示。"我在多个层面上感到不安。"
该部门表示,尽管是全国首批尝试该技术的911机构之一,但他们对在实时呼叫中使用AI技术采取了保守方法。
"调度员仍然拥有最终决定权",来决定如何处理每个911呼叫,即使他们收到AI提示,西雅图消防局资源管理助理主管克里斯·隆巴德表示。
"911呼叫中的每一项决定……都是由训练有素的西雅图消防局调度员根据西雅图消防局的协议做出的,"科蒂发言人上周写道,距离《西雅图时报》要求采访已过去两个多月。"科蒂的角色是支持这项工作,而不是取代或覆盖临床判断。"
尽管科蒂一直在使用居民的呼叫来为其西雅图消防局训练AI,但该公司表示它不拥有西雅图的数据,并且被禁止使用这些数据为其他客户训练AI模型。隆巴德表示,患者的机密信息没有风险。
不过,一些专家表示,该部门在雷达下使用AI处理医疗呼叫引发了关于透明度、隐私和问责制的问题,特别是因为西雅图的911护士热线也存在问题。
由该市救护车承包商美国医疗响应公司管理的护士热线不受西雅图消防局通常要求救护车快速到达的标准约束。《西雅图时报》今年早些时候报道称,转接到护士热线的呼叫者可能被迫等待数小时才能获得救护车接送。该市并未追踪这些等待时间。
在《西雅图时报》对护士热线的报道之后,包括一名911呼叫者据称死于误诊的事件,市长凯蒂·威尔逊和市议员鲍勃·凯特尔承诺重新审视该系统。然而,他们尚未采取行动,而AI的参与可能会使情况更加复杂。
"AI似乎在提示调度员将某些呼叫推送给护士热线,"来自华盛顿大学的卡洛说。"一个被错误地从911环境分流出去的人有权知道发生了什么。"
尽管AI助手在医生办公室和一般客服呼叫中越来越常见,但拥有医疗咨询服务机构"西雅图患者倡导者"的谢丽尔·考夫曼补充说,她"无法想象"西雅图的普通民众会猜到AI参与了他们的911呼叫。
"我不认为我完全反对使用AI"处理911呼叫,华盛顿大学技术法律和公共政策诊所主任、隐私和网络安全律师杰万·赫特森表示。"但治理需要与风险相匹配,而目前的治理并不匹配这些风险。"
长期合作关系
消防局与科蒂的关系可以追溯到疫情之前。根据该公司的一份报告,那时科蒂开始监听西雅图的呼叫,以测试其检测心脏骤停症状的能力。
丹麦的研究显示,科蒂的人工智能能够在紧急呼叫中比人类调度员更快地检测心脏骤停,尽管误报率比调度员更高。
2019年,西雅图消防局和科蒂签署了一份数据共享协议。
协议称:"科蒂正在开发一种可以分析语音、聆听语调、过滤背景噪音等的人工智能应用。" "通过机器学习,该应用通过监听实际呼叫来训练自己,识别重要因素并继续改进其模型。为了实现这一目标,获取911呼叫来构建知识库至关重要。"
助理主管隆巴德表示,大约在那时,消防官员使用定制的科蒂软件重建了他们的911接线流程。隆巴德说,他们最初仅将科蒂的AI用于已完成呼叫的质量保证检查。
隆巴德表示:"西雅图消防局的人工员工只能审查该部门911医疗呼叫的一小部分,而AI可以快速检查更多呼叫,'以确保我们每次都在问正确的问题'。"
根据该公司的说法,波士顿急救医疗服务部门也类似地使用科蒂的AI进行911医疗呼叫的质量保证。
自称为"医疗保健AI平台"的科蒂在寻求扩大其在美国的业务的同时,多次宣传其在西雅图的工作。其首席执行官曾写道:"在西雅图等城市,AI自2019年以来已集成到紧急调度系统中,提供实时、数据驱动的支持。"
现在西雅图消防局正在淡化AI的作用。隆巴德表示,该部门直到最近才开始在实时911呼叫中使用AI,而且仅与救护车承包商的护士热线相关联。
实时提示
护士热线旨在通过为有低级别问题的911呼叫者提供其他选择,如远程医疗和社区诊所,减轻对紧急服务的压力。但实际上,护士热线也允许西雅图的救护车承包商规避责任。
2022年,退休人员帕梅拉·霍根在拨打911并被转接到护士热线后,等待救护车超过10小时。根据美国医疗响应公司与西雅图的合同,这是可以接受的。霍根从未获得护理,后来被发现死在她的公寓里,她的遗产现在正在提起诉讼。
适用于霍根案例的宽松救护车响应标准仍然适用于护士热线——现在AI也成为其中的一部分。
隆巴德表示,西雅图消防局于2023年12月开始使用实时AI提示,帮助调度员更一致地识别应转接到护士热线的911呼叫。
科蒂的AI现在监听所有911医疗呼叫,当它检测到认为应该转接到护士热线的呼叫时,会向调度员发送消息。
隆巴德表示,忽略建议提示的调度员不会受到惩罚。
非营利组织西北健康法律倡导者的联合执行董事艾米丽·布里斯表示,这一点很重要,因为在护理决策链的末端应该始终有一个人类。她说,如果调度员被激励同意AI的建议,这一点可能会被削弱。
根据科蒂2024年的一份新闻稿,西雅图消防局医疗主任迈克尔·塞耶将"尖端技术和实时提示"归功于护士热线接收的911呼叫增加了50%。
5月下旬,消防局发言人澄清称,实际增幅为32%,科蒂发言人补充说,这与西雅图消防局的协议一致。
尽管塞耶希望AI提示能让调度员更一致地使用护士热线,而不是以不同速率使用,但根据活动报告,他在去年的一次研讨会演讲中表示,这种情况并未发生。
尽管如此,塞耶仍持积极态度。
根据2025年研讨会报告,塞耶表示:"这项工作面临真正的挑战,但我们现在已经验证了这个AI系统可以工作。下一步是将其用于更高危急程度的呼叫。"
他补充道:"我们才刚刚开始。" "已经使用的医疗技术可以彻底改变我们提供护理的方式。"
利益与风险
西雅图使用AI可能通过帮助消防官员完善接线实践和更快分诊患者而使911呼叫者受益。
根据一份年度报告,西雅图消防局对科蒂如此看好,以至于去年为来自海岸警卫队、达拉斯、阿拉斯加和台湾的访客举办了该公司技术的参观和演示。
科蒂2024年宣传视频中引用了西雅图消防局首席调度员希尔顿·阿尔蒙德的话:"科蒂不仅仅是我们使用的AI解决方案,它是一种合作,我们每天都在努力拯救更多生命。"
然而,华盛顿大学计算机科学教授、该校安全与隐私研究实验室联合主任弗兰齐斯卡·罗兹纳表示,由于缺乏公开信息,很难评估呼叫者是否真的受益。
威尔逊市长在1月上任后于5月4日发布的愿景文件中表示,该市使用AI"需要仔细考虑对劳动力和环境的影响,以及对隐私和偏见的仔细分析。"
但911医疗呼叫者并未被告知他们的呼叫正被AI监控。消防局网站上没有任何公开声明。隆巴德助理主管表示,该部门没有可与公众分享的指标,说明AI是否正在改善西雅图911呼叫者的结果。
西雅图消防局无法详细说明他们向科蒂支付的费用。目前的年总费用约为26万美元。
罗兹纳说:"目前尚不清楚这是坏事,但也无法确定这是好事。我认为我们需要了解更多信息。"
罗兹纳补充说,AI研究揭示了根据种族、性别和社会经济阶层进行偏见治疗的潜在可能。
"我不知道他们是如何考虑这一点的,"她说。
西雅图消防局对AI的使用尚未根据西雅图的监控条例进行评估,该条例要求对可能引发社会正义问题的技术进行审查。
华盛顿大学隐私和网络安全律师赫特森对此表示困惑。尽管911呼叫长期以来一直被录音并且是半公开的——患者的医疗信息可能被编辑——但赫特森表示,AI增加了复杂性。
他说:"我不知道你如何逃避监控审查。"
华盛顿大学科技政策实验室的卡洛指出,西雅图可能不喜欢消防局使用AI的人实际上无法避免它,因为当你处理医疗紧急情况时没有替代方案。
他说:"当你拨打911时,是因为你必须这么做。"
未来展望
根据最近的调查,许多医生对医疗保健中的AI持乐观态度,许多人已经在工作中使用一些AI。
然而,华盛顿大学计算机科学博士生索汉·加迪尔表示,该技术可能受到漏洞、幻觉和其他问题的困扰,他共同撰写了一篇关于医疗AI透明度的最新论文。
加迪尔表示,呼叫者和西雅图消防局需要知道AI如何使用他们的信息做出建议以及其表现如何。
隆巴德助理主管表示,在《西雅图时报》询问公众意识后,西雅图消防局将从此对AI使用保持开放。例如,他说,该部门计划为应对医疗紧急情况的消防员部署AI笔记功能。
他说:"我们正在通过整个城市流程运行它。"
当被问及AI和911时,市长发言人表示,威尔逊政府"目前正在制定一个面向公众的框架,围绕未来AI的使用和治理"。
发言人表示:"我们还将开发一个框架,评估先前授权的AI使用是否继续反映我们的价值观,以人类福祉为中心并服务于公共利益。"
主持市议会公共安全委员会的凯特尔对西雅图消防局使用AI一事未予置评,称他需要"做一些尽职调查。"
曾领导西雅图信息技术部门的比尔·施赖尔认为,尽管一些居民担心,但AI将在急诊分诊中逐渐普及,"因为它将改善服务。"
但AI批评者凯文·德利班警告说,对于预算紧张的地方政府来说,可能存在滑坡效应。
德利班说:"在某个时候,你将与AI语音代理交谈",而不是与人类交谈。他的非营利组织TechTonic Justice在AI时代为低收入人群发声。
这并非完全不切实际。斯诺霍米什县和基萨普县的911机构最近开始使用AI代理接听非紧急热线。斯诺霍米什机构还在紧急呼叫中使用AI辅助系统。
【全文结束】

