部署在澳大利亚多家诊所的一款AI医疗记录工具，被安全研究人员操纵，使其偏离了既定程序，生成了身份盗窃指南。不过，这款“行为不端”的机器人无法访问任何患者数据。
总部位于美国的网络安全公司Mindgard表示，在展示澳大利亚公司快速部署AI工具所面临风险的演示中，Heidi Health公司用于临床文档记录的机器人，只需使用正确的提示词，就能在几分钟内被剥离其伦理限制。
Heidi Health表示，在Mindgard联系他们之前，该漏洞已被内部识别并修复，并且被操纵的工具无法访问患者数据、临床工作流程、基础设施或其他用户的运行环境。
Heidi Health由墨尔本医生Thomas Kelly创立，估值达4.65亿美元（约合6.6亿澳元），通过为医生自动撰写笔记并跟进患者的简单问题，已成为澳大利亚增长最快的AI公司之一。该平台仅在澳大利亚每周就处理超过80万次问诊。
Mindgard表示，其研究人员提取了Heidi的隐藏操作指令，要求机器人重写这些指令而不受任何限制，然后让系统自行激活新规则。
Mindgard尚未公布该机器人的输出结果，但表示该机器人遵照要求提供了制造爆炸物和违禁物质的说明，并称在发布前已向Heidi Health全面披露。研究人员还发现，即使在未进行任何操纵之前，当被问及患者身份盗窃时，Heidi也会生成一份详细指南。
Heidi Health的安全主管Seb Welsh证实了该问题，但他表示这仅限于单个用户的交互，无法访问患者数据、其他用户会话或后端基础设施。他说：“这里唯一重要的问题是：‘实际上会对用户造成什么影响？’双方均已确认的答案是：没有任何影响。”
他表示，这次“越狱”“需要用户故意执行一个多步骤的操纵序列，然后选择对模型返回的任何内容采取行动”，并警告不要对安全研究进行“耸人听闻的解读”。
网络安全公司Dvuln的创始人Jamieson O'Reilly表示，Heidi的描述基本准确。他说：“Mindgard所展示的完全局限于单个用户会话内，无法访问患者数据，用户之间没有交叉污染，也未证明能触及Heidi的后端系统。”他表示，类似的“越狱”在ChatGPT、Grok和微软的Bing Copilot等其他聊天机器人中也有记录，这表明随着公司选择将更多品牌和企业信息委托给聊天机器人，它们面临着潜在风险。
Heidi Health目前不在澳大利亚药品管理局（TGA）的监管范围内，因为它被认定为一个行政文档记录工具，不具备诊断或临床决策能力。
利用被操纵的系统，研究人员让Heidi评估一名出现与心脏事件相符症状的测试患者。在标准模式下，它拒绝了。在操纵后，它生成了详细的诊断评估。Heidi Health在其回应中并未具体提及这一发现。
TGA在一份声明中表示，如果供应商禁用治疗功能的尝试被证明无效，那么这种禁用可能不足以使其规避监管。一位发言人告诉本报：“如果禁用无效，该产品可能仍符合医疗器械的定义，因此将受到TGA的监管。”监管机构表示，开发者应“合理预见产品的误用，并应对与产品使用相关的所有风险”。
然而，该监管机构确认，已开始对在澳大利亚运营的AI数字记录工具进行审查，包括Heidi Health。
Mindgard首席执行官Peter Garraghan表示，患者和临床医生对专用临床AI工具的信任，使得此类风险与通用AI截然不同，并且这个问题远不止Heidi一家。他说：“鉴于其涉及的主题、受影响方和影响，临床相关技术理应被要求达到更高标准。人们应将其视为一个可能被轻易操纵的、不可信的计算机实体，无论它表现得多么自信。”
《商业简报》新闻通讯会推送重大新闻、独家报道和专家观点。请注册以在每个工作日早晨获取。
【更正】本文的早期版本报道称Heidi Health的AI工具已嵌入Monash Health。事实上，该医疗机构只是在探索使用Heidi的工具。
【全文结束】