相信医生，而不是聊天机器人。这是发表在《内科学年鉴》上的一项新研究得出的令人警醒的结论，该研究揭示了人工智能（AI）如何容易被滥用来传播有关健康的危险错误信息。
研究人员对Anthropic、Google、Meta、OpenAI和X Corp开发的五种主流AI模型进行了实验。这五个系统被广泛使用，构成了嵌入全球各类网站和应用程序中的AI驱动聊天机器人的核心。通过通常不对公众开放的开发者工具，研究人员发现，他们可以轻松编程让这些AI系统对健康相关问题作出不正确且可能有害的回答。
更糟糕的是，这些聊天机器人会用看似可信的方式来包装其错误答案。南非大学的研究论文作者Natansh Modi在一份声明中解释说：“总计88%的所有回答都是错误的。”他补充道：“然而，这些信息却使用科学术语、正式语气以及伪造的参考文献呈现出来，使其看起来合法。”
这些虚假主张包括已被揭穿的谣言，例如疫苗会导致自闭症、HIV是一种空气传播疾病以及5G导致不孕。在评估的五个聊天机器人中，有四个提供了100%错误的回答，只有一个模型表现出部分抵抗力，在40%的情况下生成了错误信息。
错误信息机器人已经存在
这项研究并未停留在理论漏洞上；Modi及其团队进一步利用OpenAI的GPT商店——一个允许用户构建和分享定制ChatGPT应用的平台——测试普通公众能够多么轻易地自行创建错误信息工具。“我们成功地利用该平台创建了一个错误信息聊天机器人原型，并识别出商店中已有的一些正在积极传播健康错误信息的公共工具。”Modi强调：“我们的研究首次系统性地证明，领先的AI系统可以通过开发者工具甚至公共工具被转化为错误信息聊天机器人。”
对公共健康的日益威胁
研究人员指出，被操纵的AI聊天机器人所构成的威胁并非假设——它真实存在并且正在发生。“人工智能现已深深嵌入到健康信息获取和传递的方式中，”Modi表示，“数百万人正在转向AI工具以获取健康相关建议。如果这些系统可以被操控以隐蔽地提供虚假或误导性建议，它们将为错误信息开辟一条新的强大途径，这种信息比以往任何时候都更难检测、更难监管且更具说服力。”
此前的研究已经表明，生成式AI可以被滥用来大规模生产有关抗生素、时尚饮食、顺势疗法和疫苗等主题的健康错误信息，例如误导性的博客文章或社交媒体帖子。而这项新研究的独特之处在于，它是首个证明基础AI系统如何被故意重新编程以实时充当错误信息引擎的研究，这些系统会在日常用户的提问下伪装成可信建议并散布虚假主张。研究人员还发现，即使提示本身并不明确有害，这些聊天机器人仍可能“自动生成有害的虚假信息”。
紧急保护措施的呼吁
虽然其中一个模型——Anthropic的Claude 3.5 Sonnet——表现出了一定的弹性，拒绝回答60%的误导性问题，但研究人员表示这还不够。各系统的保护措施不一致且在大多数情况下容易被绕过。“一些模型表现出部分抵抗力，这证明有效的保护措施在技术上是可以实现的，”Modi指出，“然而，目前的保护措施不一致且不足。开发者、监管机构和公共健康利益相关者必须果断行动，而且现在就要行动。”
如果不加以控制，AI在健康领域的滥用可能会带来毁灭性后果：误导患者、削弱医生权威、助长疫苗犹豫情绪并恶化公共健康结果。研究作者呼吁进行广泛的改革，包括更强的技术过滤器、关于AI模型训练方式的更高透明度、事实核查机制以及追究开发者责任的政策框架。他们将错误信息在社交媒体上的传播与这一现象进行比较，警告称错误信息的传播速度是真相的六倍，而AI系统可能会加剧这一趋势。
最后的警告
“如果不立即采取行动，”Modi说道，“这些系统可能会被恶意行为者利用，在危机期间（如大流行病或疫苗接种活动）大规模操纵公共健康讨论。”
Anthropic的一位发言人表示，他们的聊天机器人Claude通过一种名为“宪法AI”的方法进行训练，该方法教导模型通过根据优先考虑人类福祉的原则批评和修订自己的输出，从而变得有用、无害且诚实。他们补充道，健康错误信息是一个令人担忧的领域，因为它可能造成伤害，Claude经过训练对医学主张保持谨慎，并拒绝提供错误信息的请求。
“使用Claude生成健康错误信息违反了Anthropic的使用政策，该政策禁止利用我们的服务生成与医疗、健康或科学问题相关的错误内容，”该公司表示，“如果我们检测到此类使用，我们将采取适当措施，包括暂停或终止对其服务的访问。”
_Newsweek_已联系Google、Meta、OpenAI和X Corp寻求评论。
(全文结束)
