在安大略省,AI写作助手记录了错误的药物并编造了诊断结果。在德国,此类系统也正在进入诊所。
您的医生可能正在您的病历中写下一些您从未说过的话。不是出于疏忽,也不是因为时间压力——而是因为人工智能编造了它。
这听起来可能有点离谱——但并非如此:人工智能在德国医疗保健领域也扮演着越来越重要的角色,而来自加拿大,确切地说,来自加拿大安大略省的经验值并不令人放心。
在那里,能够记录医患对话并自动为病历创建笔记的AI系统,系统性地编造了内容,输入了错误的药物,并直接忽略掉了核心健康问题。尽管如此,这些系统仍在投入使用——约5000名医生在使用。类似的技术也即将在德国诊所取得突破。
这一结论来自安大略省审计长2026年5月的一份特别报告,该报告调查了该省公共部门的AI使用情况。其中整整一章专门介绍了卫生部的所谓AI-Scribe项目,加拿大广播公司也对此进行了报道。
在采购过程中,有20个基于AI的转录系统接受了测试。评估人员输入了虚构医生与患者之间的模拟对话,并让医疗专业人员将原始录音与AI生成的笔记进行比较。结果是一份令人震惊的失败清单,不仅对加拿大提出了疑问。
20个系统中有9个产生了幻觉:它们编造了信息,或提出了对话中从未提及的治疗方案建议。在某些情况下,AI记录为“未发现肿瘤”——尽管根本没有讨论过肿瘤话题。
其他系统则自行安排血液检查,或将患者转诊接受治疗,而医生从未暗示过这一点。20个系统中有12个记录了错误的药物——例如记录了一种与实际处方不同的药物。而20个测试解决方案中有17个遗漏了患者心理健康问题的重要细节,如The Register报道。有6个系统完全或部分忽略了心理健康问题。
准确性在采购中几乎不被重视
使情况更糟的是:这些错误并非排除标准。根据审计长谢莉·斯彭斯的报告,采购过程中的优先级权重极其失衡。例如,供应商是否在安大略省设有本地办事处,占总评分的30%。而医疗笔记的准确性仅占4%。
偏见检查——即检查系统是否系统性歧视某些患者群体——占2%。威胁、风险和隐私评估另外占2%。SOC-2 Type 2合规性(数据安全标准)也仅占4个百分点。
因此,准确性、偏见控制和安全措施加起来只占总评分的很小一部分。“不适当的权重标准可能导致选择那些AI工具生成不准确或扭曲的医疗记录,或未能对敏感个人健康数据提供充分保护的供应商”,报告中写道。
有些供应商甚至没有提交第三方审查报告、认证或威胁风险评估——其中有四个系统仍然获得了批准。
政治反应遵循了通常的模式:采购部长斯蒂芬·克劳福德对加拿大广播公司表示,这些错误“发生在测试阶段”,医生“监督着AI使用的每一个方面”。
卫生部长的发言人强调,“没有已知的患者伤害报告”。这些系统是自愿的,并且需要患者同意。而安大略省绿党领袖迈克·施赖纳则称这些结果“令人深感不安”。
问题是结构性的,而非区域性的
将安大略省的事件视为加拿大特有的现象会很方便。然而,这些发现与国际研究结果一致。发表在专业期刊《JMIR Medical Informatics》上的一项由加州大学戴维斯分校进行的试点研究,在真实临床条件下测试了一个单一的环境AI-Scribe系统。
在两个月内,31名医生使用该技术生成了7545份临床笔记。在详细评估的356份笔记中,18%含有无意遗漏,11.5%含有幻觉,9.3%含有错误添加的信息。尽管作者认为94.7%的笔记没有显著错误,但5.3%的笔记含有可能造成严重或直接伤害风险的错误。
尤其令人震惊的是:近15%的AI生成笔记,医生根本没有编辑,直接原封不动地录入病历。编辑比例在不同医生之间差异巨大——从1.9%到69.3%的AI生成词汇被编辑。这意味着:有些医生仔细检查,而另一些则显然直接放行。
根据审计报告,在安大略省,没有一个获批系统设有强制性确认机制,要求医生在笔记录入病历前必须进行审核。
根据加拿大医疗法,法律责任仍由主治医生承担。如果医生未审核虚构的AI笔记并因此导致治疗错误,他们可能因违反注意义务而承担责任。
此外,如果存在可证明的产品缺陷,也可以向软件供应商提出索赔。这在实践中是否可行,则是另一回事。
发表在《JMIR Medical Informatics》上的一篇伦理分析指出,AI写作助手不仅仅是被动的转录工具,而是作为“认知代理”在运作:它们主动选择、加权和排列信息。
该论文警告了“认知退化”——即因过度信任机器而导致临床判断力逐渐丧失——以及医患关系被掏空的风险,因为对话中的叙事细微差别会被系统性过滤掉。
德国诊所面临同样的问题
在安大略省吸取教训的同时,类似的技术正在进入德国市场。
诊所软件供应商medatixx与丹麦公司Corti合作开发了x.scribe产品,这是一款AI写作助手,能够实时转录医患对话并生成结构化的文档建议。自2026年2月起,x.scribe已可用于诊所软件x.isynet和x.vianova;其他程序将陆续推出。该系统在4月份的DMEA健康博览会上进行了演示。
Medatixx强调,医生可以在将文档建议录入病历前进行调整和补充。Corti开发的语言模型专门针对医疗内容进行了训练,并满足所有数据保护要求。
这些目前只是制造商承诺——而非独立验证的结论。审计长在安大略省要求的强制性确认机制并未被提及。
德国内科医学会在2026年4月的年会上表示,AI正“开始具体改变临床日常工作”。
埃森大学医院医学人工智能研究所所长延斯·克莱西克同时警告说:“没有数字支持,我们未来将无法满足医疗护理中日益增长的需求。”
这听起来像是一个两难境地——系统不可或缺,但其成熟度却令人质疑。
在监管方面,欧洲的初始情况与安大略省截然不同。AI-Scribe处理的是受《通用数据保护条例》第9条保护的特殊健康数据。供应商必须进行数据保护影响评估,并证明技术保护措施的有效性。
根据功能范围,AI写作助手还可能作为医疗器械,受欧洲医疗器械法规的约束——届时CE标志、临床评估和上市后监督将成为强制要求。
许多供应商将其系统正式限定为“文档支持”,以避免落入更高的MDR风险类别。
已经生效的欧盟《人工智能法案》很可能将医疗保健领域的AI系统归类为高风险应用,并对其风险管理、数据治理和人工监督提出进一步要求。
这些规则在实践中能否发挥作用,还有待观察。安大略省也曾有规定——医生应手动审核AI笔记,使用需要患者同意。然而,缺乏执行这些规则的机制。没有强制审核的技术手段,也没有衡量临床文档中幻觉率的标准化方法。
信任不能一键获得
安大略省的核心教训不是技术性的,而是政治性的:如果采购过程中医疗AI的准确性仅占4%权重,而本地办事处占30%,那么优先级就很明确——而且显然是错误的。
斯彭斯向政府提出了十项建议,据加拿大广播公司报道,其中九项已被接受。这些建议旨在加强评估和治理流程,并提高安全与隐私的权重。
对德国而言,这意味着:在AI写作助手大规模进入诊所和医院之前,需要独立、标准化的测试——而不仅仅是制造商的承诺和展会演示。
正如最近一篇Telepolis报道所显示的,AI在医疗保健领域确实可以发挥作用,例如在检查药物相互作用方面。但只有在责任、质量评估和错误文化方面有明确规则时,其益处才能显现。一个会编造诊断结果的AI,不是减轻负担的工具——它是一个可能体现在每一份病历中的风险。
审计长斯彭斯向加拿大广播公司透露,她在自己的一次就诊中亲眼目睹了AI写作系统的使用。“我说了类似‘请完成后检查一下转录内容’的话”,她回忆道。至于她的医生是否照做了,她没有说。
【全文结束】

