在医疗保健领域快速部署人工智能引发了一系列关于准确性和可信度的难题。据OpenAI称，全球每周有超过2.3亿人向ChatGPT咨询健康和 wellness 问题。为满足这一庞大且未被充分开发的需求，OpenAI本月早些时候推出了ChatGPT Health，并迅速以6000万美元收购了医疗科技初创公司Torch以加速这一进程。Anthropic紧随其后，上周宣布推出Claude for Healthcare。从通用聊天机器人向医疗顾问的转变正在稳步推进。
对于一个医疗保健不平等现象普遍的世界——无论是美国保险成本的飙升，还是全球偏远地区的医疗荒漠——健康信息和建议的民主化至少在理论上是一个积极的发展。然而，大型人工智能公司的运营细节引发了一系列健康科技专家急于探究的问题。
“作为一名临床医生，我担心的是，这些通用大型语言模型（LLMs）仍会向终端用户输出高水平的幻觉和错误信息，”斯坦福医疗保健的临床讲师、人工智能临床决策支持平台Atropos Health的首席医疗官兼联合创始人Saurabh Gombar表示。
“如果你在询问意大利面食谱，它告诉你添加10倍的某种配料，这还是一回事。但如果它在根本上遗漏了关于个人医疗保健的关键信息，那就是完全不同的事情了，”他告诉Observer。
例如，医生可能会将左肩疼痛视为某些患者心脏病发作的非典型征兆，而聊天机器人可能只会建议服用非处方止痛药。相反的情况也可能发生。如果患者在与人工智能聊天后，仅基于一个简单症状就确信自己患有罕见疾病，当人类医生首先试图排除更常见的解释时，这可能会侵蚀医患信任。
Google已因其AI概览提供不准确和虚假的健康信息而受到批评。ChatGPT、Claude和其他聊天机器人也因幻觉和错误信息而面临类似批评，尽管它们在健康相关对话中注明“不用于诊断或治疗”以限制责任。
Gombar认为，人工智能公司必须更公开地强调答案出现幻觉的频率，并在信息缺乏证据支持或完全捏造时明确标注。这一点尤为重要，因为详尽的聊天机器人免责声明旨在防止法律追索，而人类医疗模式则允许个人因医疗过失提起诉讼。
过去七年中，美国初级医疗提供者 workforce 每年缩减11%，尤其是在农村地区。Gombar表示，医生们可能不再能掌控自己在全球医疗格局中的定位。“如果全世界都在转向不首先寻求医生帮助，那么医生将更多地被用作专家二次意见，而非首要意见提供者，”他说。
数据隐私的必然问题
OpenAI和Anthropic明确表示，其健康工具安全合规，包括符合美国《健康保险流通与责任法案》（HIPAA），该法案保护敏感患者健康信息不被未经授权的使用和披露。但对于人工智能驱动的医疗记录平台StoryMD的创始人兼首席执行官Alexander Tsiaras来说，还有更多需要考虑的问题。
“问题不在于防止被黑客攻击。而在于他们获取数据后会如何使用，”Tsiaras告诉Observer。“在后端，他们的加密算法与HIPAA合规者一样好。但一旦他们掌握了数据，你能信任他们吗？我认为这将是一个真正的问题，因为我肯定不会信任他们。”
Tsiaras指出，像OpenAI CEO Sam Altman这样的硅谷精英们持续持有技术乐观主义，认为他们生活在一个泡沫中，并且“已经证明自己不关心（数据隐私问题）”。
在更具体的层面上，聊天机器人往往过于顺从。xAI的Grok最近因同意生成真实女性和儿童的近乎裸体照片而受到批评，尽管该公司在公众强烈抗议后于本周屏蔽了这一功能。聊天机器人还可能强化精神疾病患者的妄想和有害思维模式，引发精神病发作甚至自杀等危机。
无党派智库民主与技术中心（Center for Democracy and Technology）的隐私与数据高级顾问Andrew Crawford表示，一家优先考虑通过个性化获取利润而非数据保护的人工智能公司，可能使敏感健康信息面临严重风险。
“特别是随着OpenAI开始探索广告作为商业模式，确保此类健康数据与ChatGPT从其他对话中捕获的‘记忆’之间实现严格隔离至关重要，”Crawford在给Observer的声明中表示。
此外，还有用户自愿输入的非受保护健康数据问题。MyFitnessPal和Oura等个人健康公司已经带来数据隐私风险。“通过使数据更易获取和访问，这放大了固有风险，”Gombar表示。
对于Tsiaras这样的人来说，以利润为导向的人工智能巨头已经玷污了健康科技领域。“信任被严重侵蚀，以至于任何其他构建系统的人都必须反其道而行之，花大量时间证明我们是为你服务的，而不是为了滥用我们能从你那里获取的东西，”他表示。
Nasim Afsar是一名医生，曾担任甲骨文（Oracle）的首席健康官，并担任白宫和全球卫生机构的顾问。她将ChatGPT Health视为迈向她所称的“智能健康”的早期步骤，但远非完整解决方案。
“人工智能现在可以解释数据并帮助患者为就诊做准备，”Afsar在给Observer的声明中表示。“这是有意义的进步。但真正的变革发生在智能推动预防、协调行动和可衡量的健康结果时，而不仅仅是在一个有缺陷的系统中提供更好的答案。”
【全文结束】
