许多人习惯上网寻求健康建议。如今，随着人工智能驱动的聊天机器人触手可及，似乎只需轻点几下就能联系到医疗专业人士。
但最近一项涉及虚构健康状况的实验突显出，这些系统及其用户对错误信息的脆弱性——即便信息明显有误。
去年，如果你向ChatGPT描述眼睛酸痛、发痒和眼睑发红等症状——这是众多依赖大型语言模型(LLM)的人工智能聊天机器人之一——它可能会指向一种与电脑屏幕使用相关的病症，称为"比克索尼亚症"。
这种疾病并不存在。
该病症是由瑞典哥德堡大学的医学研究员阿尔米拉·奥斯马诺维奇·通斯特伦(Almira Osmanovic Thunström)及其团队发明的。他们虚构了这种疾病，目的是测试在互联网上抓取海量数据进行训练的大型语言模型能否有效过滤虚假信息。
奥斯马诺维奇·通斯特伦在向学生讲解大型语言模型及其训练数据来源时萌生了这个想法。她向《科学美国人》"快速科学"(Science Quickly)播客主持人瑞秋·菲尔特曼(Rachel Feltman)表示："令我惊讶的是，不仅学生，甚至许多人工智能领域的人士都不了解大型语言模型的构建原理。"
这位同时也是瑞典查尔姆斯工业技术公司(Chalmers Industriteknik)人工智能战略家和创新经理的研究人员补充道："因此，我想要一个清晰的案例，在整个系统中留下线索，展示数据如何被处理、输出，以及预测模型和训练模型在信息分发过程中的工作机制。"
据《自然》杂志克里斯·斯托克尔-沃克(Chris Stokel-Walker)报道，该团队于2024年初开始传播关于"比克索尼亚症"的信息。他们在Medium网站发布两篇博客文章，并在预印本服务器上提交两份研究报告——科学家常在此发布未经同行评审的研究。论文主要作者名为拉兹利维·伊兹古布利耶诺维奇(Lazljiv Izgubljenovic)，意为"撒谎的失败者"，其中一项研究标题类似"色素沉着：一个真正的胡说设计"。（这两份报告后来已被预印本服务器撤下。）
奥斯马诺维奇·通斯特伦在"快速科学"播客中表示："我没想到预印本——学术界的某种小报，因为任何内容都可能出现在那里——会被数据库如此认真地对待。"
【你知道吗？】
第一个聊天机器人的发明者曾警告人工智能的威胁
20世纪60年代，麻省理工学院计算机科学家约瑟夫·魏岑鲍姆(Joseph Weizenbaum)发明了被认为是世界上首个聊天机器人"伊莉莎"(Eliza)，一个模拟"心理治疗师"的程序。他后来意识到该程序"可能在相当正常的人身上引发强烈的妄想思维"，并花费余生致力于揭示这种令人信服技术的潜在危险。
果不其然，大型语言模型开始引用这种虚构病症，该病症甚至获得了自己的维基百科页面。据《自然》杂志报道，2024年4月，微软必应的Copilot声称"比克索尼亚症确实是一种引人入胜且相对罕见的病症"，谷歌的Gemini解释"比克索尼亚症是由过度暴露于蓝光引起的病症"，而OpenAI的ChatGPT则向用户确认其症状是否表明患有该疾病。部分回应来自直接询问聊天机器人关于比克索尼亚症的问题，其他则源于关于蓝光导致眼睑颜色异常的查询。
伦敦大学学院错误信息研究员亚历克斯·鲁亚尼(Alex Ruani)（未参与该项目）向《自然》杂志表示："这是关于错误信息如何运作的绝佳示范。如果科学过程及其支持系统如此专业，却无法识别和过滤此类内容，我们处境堪忧。"
剑桥大学社会科学家乔纳森·古德曼(Jonathan Goodman)和玛丽亚姆·拉希德(Mariam Rashid)（未参与该项目）在《对话》(Conversation)上撰文指出："尽管人工智能和互联网等工具很有帮助，但确保我们主动使用它们而非被其操控，责任在于我们自身。"
该项目揭示的一个严重问题是，一些科学家也引用了这些虚假预印本，表明他们并未真正阅读研究内容。若他们仔细阅读，定会发现其捏造本质。
据"快速科学"报道，奥斯马诺维奇·通斯特伦团队刻意在虚构研究中植入明显破绽：包括"银河三合会"(Galactic Triad)的资助声明、《指环王》引用、致谢"星际飞船企业号"(Starship Enterprise)同事以及《老友记》中的罗斯·盖勒(Ross Geller)教授。《自然》杂志报道称，至少一篇论文甚至明确声明"整篇论文均为虚构"。
该项目最终证实，这些大型语言模型从互联网获取信息，而网络充斥着大量错误信息。因此，人类应对人工智能输出保持更加批判的态度。
古德曼和拉希德在《对话》中总结道："错误信息一直存在。新变化在于其传播速度、生成工具以及模仿真实内容的逼真程度。"
【全文结束】