德克萨斯州总检察长肯·帕克斯顿宣布，已与一家位于德克萨斯州的人工智能医疗技术公司达成协议，解决了该公司涉嫌违反德克萨斯州欺骗性贸易行为和消费者保护法的指控。2024年6月，帕克斯顿总检察长宣布启动了一项新的数据隐私和安全倡议，旨在保护德克萨斯州居民的敏感数据免受技术、人工智能和其他公司的非法利用。该倡议设在总检察长办公室的监察长消费者保护部门，重点在于执行德克萨斯州的法律，如数据隐私和安全法、身份盗用执法和保护法、数据经纪人法、生物特征标识符法、欺骗性贸易行为法以及联邦法律，如儿童在线隐私保护法（COPPA）和健康保险流通与责任法案（HIPAA）。
“未经授权收集和销售数据、对消费者造成财务伤害或不负责任地使用人工智能的公司对我们公民构成了严重的风险，我们对此非常重视，”帕克斯顿总检察长在启动该倡议时表示。“随着许多公司寻求越来越多的方法来利用他们收集的消费者数据，我将加倍努力保护隐私权。”
在此倡议下，总部位于达拉斯的医疗技术公司Pieces Technologies因涉嫌对其基于人工智能的产品的准确性和安全性做出虚假和误导性陈述而受到调查。该公司的产品包括医生可以用来帮助治疗患者的基于人工智能的工具，例如用于总结、记录和起草临床笔记并将其输入电子健康记录的工具。
据称，Pieces Technologies开发了一系列指标和基准，显示其生成式人工智能解决方案的输出高度准确。根据该公司的说法，其生成式人工智能的错误率低于十万分之一。然而，帕克斯顿总检察长表示，至少有四家主要的德克萨斯州医院向Pieces Technologies提供了实时患者数据，以便其生成式人工智能解决方案能够为临床医生总结患者状况和治疗情况。调查发现，该公司声称其生成式人工智能解决方案高度准确且错误率极低的说法“可能不准确，并可能误导医院关于其产品的准确性和安全性”。
该协议不包括任何惩罚措施或罚款，但要求Pieces Technologies确保遵守州和联邦法律，通过在其营销和广告中做出明确和显眼的披露，并避免对其解决方案的准确性做出虚假陈述。这些要求包括明确和显眼地披露任何指标、基准或类似测量的含义或定义及其计算方法。还必须向客户提供关于用于训练其产品和服务的数据类型和/或模型、其预期用途和任何已知或可合理预见的患者和医疗服务提供者的限制和风险，以及任何可能导致不准确输出或增加个人受伤风险的产品或服务的误用的文档。该协议有效期为5年。
“这是Pieces与德克萨斯州总检察长办公室达成的一项自愿合规保证（AVC），展示了领导力、透明度和合作精神。该协议在五年后到期，这并非常态，并且可以在生效之日起一年内应请求被总检察长办公室撤销，”Pieces Technologies告诉《HIPAA Journal》。“Pieces强烈否认任何不当行为，并坚信其准确报告了幻觉率，这是AVC的唯一关注点。”
“我们对德克萨斯州总检察长办公室的新闻稿感到失望，该新闻稿错误地描述了Pieces进入的自愿合规保证（AVC），”Pieces解释道。“AVC中未提及Pieces产品的安全性，也没有证据表明公众利益曾面临风险。AVC仅关注公司在独立开发的风险分类系统中报告幻觉率的情况，该系统基于严重程度。重要的是，目前尚不存在针对住院临床总结生成式AI幻觉的行业范围内的风险分类系统。”
本文已更新，包含来自Pieces Technologies的评论。
(全文结束)
