得克萨斯州检察长肯·帕克斯顿宣布与总部位于达拉斯的人工智能开发商 Pieces Technologies 达成和解，解决了有关该公司的生成式人工智能工具因夸大准确性而将患者安全置于风险之中的指控。
该调查被称为同类调查中的首例，据称总部位于达拉斯的 Pieces Technologies 公司对其人工智能产品的准确性做出了“欺骗性声明”，这些产品已在孤星州的几家医院部署。
该公司使用生成式人工智能来汇总有关患者病情和治疗的实时电子健康记录数据。根据和解协议，其软件至少在该州的四家医院使用。
根据和解协议，该公司宣传其“严重幻觉率”低于十万分之一。
虽然 Pieces 公司否认有任何不当行为或责任，并表示未违反得克萨斯州的《欺骗性贸易行为 - 消费者保护法》，但检察长的和解协议要求该公司必须“清晰且显著地披露”该指标的含义或定义，并描述其计算方式，否则“聘请独立的第三方审计员来评估、衡量或证实其产品和服务的性能或特征”。
Pieces 公司同意遵守和解条款五年，但在周五通过电子邮件发给《医疗保健 IT 新闻》的一份声明中表示，检察长的声明对其自愿遵守的保证存在误解。
“Pieces 公司强烈支持对临床生成式人工智能进行更多监督和监管”，并签署该协议“作为真诚推进这些对话的机会”。
随着人工智能，特别是生成式人工智能在医院和卫生系统中得到更广泛的应用，围绕模型的准确性和透明度的挑战变得更加关键，尤其是当它们进入临床环境时。
马萨诸塞大学阿默斯特分校和专注于人工智能幻觉检测的人工智能公司 Mendel 最近的一项研究称，根据《临床试验领域》8 月份的一份报告，在人工智能汇总的医疗记录中出现了不同类型的幻觉。
研究人员要求两个大型语言模型——Open AI 的 GPT-4o 和 Meta 的 Llama-3 从 50 份详细的医疗记录中生成医疗摘要。他们发现 GPT 有 21 份摘要包含错误信息，50 份包含概括信息，而 Llama 有 19 个错误和 47 个概括。
随着从电子健康记录和其他医疗数据生成摘要的人工智能工具激增，其可靠性仍然存疑。
梅奥诊所平台总裁约翰·哈拉姆卡博士去年告诉《医疗保健 IT 新闻》：“我认为我们在生成式人工智能方面的情况是，它不透明、不一致且还不可靠。所以我们在选择用例时必须要小心一点。”
为了更好地评估人工智能，梅奥诊所平台开发了一个风险分类系统，以便在外部使用算法之前对其进行资格评定。
该平台的医疗主任兼梅奥诊所医院内科高级副顾问索尼娅·马赫尼博士解释说，在考虑人工智能的安全使用时，医疗保健组织“应该考虑人工智能解决方案如何影响临床结果，以及如果算法不正确或有偏差，或者基于算法采取的行动不正确或有偏差，潜在的风险是什么。”
她说，“解决方案开发者和最终用户都有责任尽最大能力根据风险来构建人工智能解决方案。”
得克萨斯州检察长肯·帕克斯顿在关于 Pieces Technologies 和解的声明中说：“在高风险环境中提供产品的人工智能公司有责任向公众和客户透明地说明其风险、限制和适当用途。”
他补充说：“医院和其他医疗保健实体必须考虑人工智能产品是否合适，并相应地培训其员工。”
（本文于 2024 年 9 月 20 日更新了 Pieces Technologies 的声明。）
Andrea Fox 是《医疗保健 IT 新闻》的高级编辑。
电子邮件：afox@himss.org
《医疗保健 IT 新闻》是 HIMSS 媒体的出版物。
主题：
人工智能、临床、合规与法律、政府与政策、质量与安全
