得克萨斯州总检察长肯·帕克斯顿宣布与 Pieces Technologies 达成和解,这是一家总部位于达拉斯的人工智能医疗技术公司,因其被指控对其生成式人工智能产品的安全性和准确性做出了误导性声明。
此次和解标志着在监管得克萨斯州人工智能技术及其对医疗行业的影响方面迈出了重要一步。
一项调查显示,Pieces Technologies 已在得克萨斯州的几家主要医院部署了其生成式人工智能解决方案,提供实时患者医疗数据以生成患者病情摘要,帮助确定适当有效的治疗方法。然而,根据最近的一份新闻稿,帕克斯顿办公室发现该公司对其人工智能系统的准确性做出了欺骗性声明,可能危及患者安全。
Pieces Technologies 宣传其产品时声称错误率低于十万分之一,这使得医疗服务提供者误以为其人工智能应用具有过高的可靠性。总检察长的调查引发了担忧,认为这些声明被严重夸大,误导了医院,并可能损害了患者的护理。
帕克斯顿表示:“在高风险环境中提供产品的人工智能公司有责任向公众和客户透明地说明其风险、限制和适当用途。任何不这样做的行为都是不负责任的,并不必要地将得克萨斯人的安全置于风险之中。”
作为和解协议的一部分,Pieces Technologies 已承诺修改其营销做法,就其医疗产品的能力和局限性提供清晰准确的披露。此外,该公司必须确保使用其生成式人工智能工具的医疗或医务人员得到充分培训,以了解在临床环境中可以在多大程度上依赖这些系统。
此次和解可能为医疗行业中人工智能的未来监管开创先例,强调技术提供商需要承担责任。
随着医院继续探索创新解决方案以改善患者护理,帕克斯顿希望通过此次和解提供的监督有助于在快速发展的技术面前保障公众健康。
总检察长办公室鼓励其他医疗服务提供者重新评估其对人工智能产品的使用,并优先考虑培训和安全协议,以有效保护患者和公司。
帕克斯顿可能会面临很多工作,因为根据 Radix 的一份报告,“到 2025 年,90%的医院将使用人工智能驱动的技术进行早期诊断和远程患者监测。”

