佛罗里达国际大学研究发现公众对AI医疗建议的信任度可能超过其安全性FIU Business research finds trust in AI medical advice may outpace its safety.

环球医讯 / AI与医疗健康来源:business.fiu.edu美国 - 英语2026-03-02 07:34:52 - 阅读时长3分钟 - 1455字
佛罗里达国际大学商学院最新研究表明,公众对生成式AI提供的医疗建议信任度正快速超越其安全能力,尤其在高风险场景中;研究通过200例模拟病例分析发现,AI在常规诊疗中表现良好,但在心梗、中风等急症时准确率显著下降,且存在分诊错误和不当治疗建议风险;同时指出消费级AI工具(如Claude标准版)不符合HIPAA隐私规范,强调AI应作为辅助技术用于患者教育和行政任务,而非替代医生,需建立风险分层框架以确保患者安全。(128字)
AI医疗建议信任度安全性佛罗里达国际大学研究高风险情境HIPAA合规患者安全辅助技术临床医生风险分层框架
佛罗里达国际大学研究发现公众对AI医疗建议的信任度可能超过其安全性

随着人工智能日益成为健康信息的主要来源,佛罗里达国际大学商学院的新研究指出,公众对AI生成医疗建议的信任度可能正以超过其安全交付能力的速度增长——这一现象在高风险情境中尤为突出。

由信息系统与商业分析副教授普扬·埃斯梅尔·扎德(Pouyan Esmaeil Zadeh)领导的最新研究发现,用户往往认为AI生成的医疗指导具有可信度、共情力和权威性,即使这些建议在临床上可能并不恰当。该发现引发了对过度依赖本非设计为医疗服务提供者的生成式AI工具的担忧。

"人们倾向于信任AI回复,因为其表述流畅且充满自信,"埃斯梅尔·扎德表示,"但在医疗领域,自信并不总是等同于正确。"

该研究考察了公众如何评估大型语言模型(LLMs)提供的医疗建议。参与者持续将AI回复评价为可靠且有帮助,即使在通常需要专业医疗判断的情境中。研究指出,这种感知到的可信度可能导致用户延迟或绕过恰当治疗。

这些发现与埃斯梅尔·扎德先前关于AI系统在真实医疗场景中实际表现的研究相互印证。在发表于《国际医疗质量杂志》的大规模研究中,他评估了200例模拟病例(涵盖常规疾病到危及生命的急症)中的AI医疗咨询效果。结果显示明确规律:随着临床风险和紧迫性上升,AI性能显著下降。系统在常规诊疗(如普通感染或健康咨询)中表现良好,但在心梗、中风等高风险急症中准确率骤降,评审员发现存在分诊错误和不恰当治疗建议。

"危险正源于此,"埃斯梅尔·扎德警告,"让AI具有吸引力的特质——速度、流畅性和自信——在需要立即专家干预的情境中可能造成危害。"

两项研究共同揭示了用户对AI医疗建议的认知与实际安全性之间的日益扩大的鸿沟。当消费者越来越依赖公开AI工具获取健康指导却未充分理解其局限时,这一问题尤为令人忧虑。

以Anthropic公司开发的AI系统Claude为例:尽管其对话风格和安全性常受赞誉,但并非所有版本都适用于医疗场景。标准消费版(含免费及个人聊天账户)本身不符合《健康保险流通与责任法案》(HIPAA)规范,不应处理受保护的健康信息。Anthropic虽为企业用户和API用户提供符合HIPAA的配置(需在认证云环境中部署并签署《商业伙伴协议》),但缺乏这些保障的AI工具用于个人医疗数据将引发重大隐私与合规风险。

"HIPAA合规并非随意可贴的标签,"埃斯梅尔·扎德强调,"它需要特定技术控制、法律协议和治理结构。多数消费级AI工具根本达不到此标准。"

研究建议AI工具应定位为辅助技术而非取代临床医生,适用于在人类监督下的患者教育、文书处理和行政任务。在低风险场景中,AI可解释医学概念、强化护理指导并减轻行政负担;但在高风险或紧急情况下,自主使用AI存在不可接受的安全隐患。

患者安全研究提出AI部署的风险分层框架,呼吁对急症诊疗中的AI使用实施严格限制,并随临床复杂度增加加强监管。该方法契合医疗软件新兴监管思路,凸显治理、透明度和问责制的必要性。

对医疗领导者和政策制定者而言,关键启示在于:对AI的信任必须经过校准而非盲目假设。随着AI工具持续演进普及,明确其价值所在与局限之处,对保护患者和维持医疗质量至关重要。

"AI在医疗领域的未来不在于取代医生,"埃斯梅尔·扎德总结道,"而在于负责任地使用这些工具,设定清晰边界,使创新能增强而非危及医疗服务。"

【全文结束】

猜你喜欢
  • 澳大利亚TGA发布2026年AI医疗软件监管指南澳大利亚TGA发布2026年AI医疗软件监管指南
  • AI驱动平台加速新型mRNA递送材料的发现AI驱动平台加速新型mRNA递送材料的发现
  • 尽管采用四联疗法心力衰竭负担依然持续尽管采用四联疗法心力衰竭负担依然持续
  • 医疗AI会说谎吗 大型研究揭示大语言模型处理健康错误信息的机制医疗AI会说谎吗 大型研究揭示大语言模型处理健康错误信息的机制
  • 麦克拉伦医疗保健公司启动AI项目筛查心脏病麦克拉伦医疗保健公司启动AI项目筛查心脏病
  • 新框架将医学知识、实践、程序和价值观纳入医疗保健中的人工智能应用新框架将医学知识、实践、程序和价值观纳入医疗保健中的人工智能应用
  • 2026年及未来医疗技术趋势报告2026年及未来医疗技术趋势报告
  • 医疗AI可能在临床环境中重复错误声明医疗AI可能在临床环境中重复错误声明
  • AI通过阅读临床记录预测结肠炎相关结直肠癌AI通过阅读临床记录预测结肠炎相关结直肠癌
  • 新加坡国立大学推出全新护理信息学综合学位课程新加坡国立大学推出全新护理信息学综合学位课程
热点资讯
全站热点
全站热文