冰山一角:研究发现科研论文中存在AI伪造的引用'Tip of the Iceberg': Study Uncovers AI-Fabricated Citations in Research Papers | MedPage Today

环球医讯 / AI与医疗健康来源:www.medpagetoday.com美国 - 英语2026-08-02 19:40:30 - 阅读时长5分钟 - 2174字
一项最新研究发现,随着人工智能工具在科研写作中的广泛应用,生物医学论文中出现AI伪造引用的现象日益严重。研究团队分析了近250万篇生物医学论文,发现2023年每2,828篇论文中约有1篇包含至少一个伪造引用,到2026年初这一比例已上升至每277篇论文中有1篇。这些伪造引用通常格式正确、归因于真实研究人员,难以通过常规同行评审检测,对科学诚信构成严重威胁,可能导致临床指南和系统性综述引用不存在的研究,最终影响临床决策和患者安全。
生物医学论文AI伪造引用研究诚信临床指南同行评审论文撤回大型语言模型参考文献验证
冰山一角:研究发现科研论文中存在AI伪造的引用

核心要点

  • 一项对生物医学研究论文的分析显示,引用不存在的研究文献的问题正在日益增加。
  • 2023年,每2,828篇论文中约有1篇包含至少一个伪造引用;到2025年,这一比例增加到每458篇论文中有1篇;2026年前7周,比例进一步上升至每277篇论文中有1篇。
  • 伪造引用的激增与广泛采用大型语言模型进行写作和编辑后的出版滞后现象相吻合。

随着人工智能(AI)工具在写作和编辑中的广泛使用,伪造引用的问题日益严重,一项对生物医学研究论文的分析显示。

哥伦比亚大学的Maxim Topaz博士、MA、RN及其同事报告称,在生物医学论文中9710万条经验证的参考文献中,他们发现了2,810篇论文中的4,046条伪造参考文献。

他们在给《柳叶刀》的通讯中写道,2023年,每2,828篇论文中约有1篇包含至少一个伪造引用;到2025年,这一比例增加到每458篇论文中有1篇;2026年前7周,比例进一步上升至每277篇论文中有1篇。

伪造率增长了12倍以上,从2023年的每10,000篇论文4.0条增加到2026年初的每10,000篇论文56.9条。

"我认为我们只是发现了冰山一角,"Topaz告诉《MedPage Today》。

伪造的引用具有与现有出版物不符的标题。作者解释说,大型语言模型(LLMs)以生成听起来合理的引用而闻名,这些引用"通常格式正确,归因于真实研究人员,并带有合理的出版日期,使得它们难以通过常规同行评审检测到",并指出2024年中期伪造引用的激增与LLM采用增长后的出版滞后现象相吻合。

Topaz告诉《MedPage Today》,这项研究源于他自己的经历。他经常使用AI工具来润色写作。在向期刊提交一篇论文后,编辑人员提醒他其中一个引用没有指向来源。Topaz表示这"让他深感尴尬",并激励他进一步调查。

他和他的团队开发了一个自动参考文献验证系统,并扫描了PubMed Central的开放获取子集。他们查看了2023年1月至2026年2月发表的近250万篇生物医学论文,这些论文共有1.256亿条参考文献;其中77%有PubMed标识符(PMID)并经过验证;其余被排除在外。对于每条经验证的参考文献,团队将"引用论文声称的元数据与文本相似度评分进行比较",并标记出不匹配的引用。

为了最大限度地减少基于格式错误的误报,标记的引用经过了更多过滤。通过所有过滤的引用在PubMed、Crossref、OpenAlex和Google Scholar中进行了验证。在任何数据库中都找不到的引用被视为伪造,而找到但链接到错误标识符的引用被视为参考错误。

在一个特别令人担忧的例子中,2025年一篇关于开放获取肿瘤学期刊中输尿管回肠吻合技术的论文中,60%的参考文献被发现是伪造的。每条参考文献都针对该论文狭窄的外科主题量身定制,并归因于真实的泌尿科医生。

研究人员还发现了与论文工厂活动一致的模式,例如在2025年,一对作者在单一外科期刊的11篇论文中出现了15条伪造参考文献。

Topaz表示,他们的发现强调人类需要仔细检查研究过程的所有部分,"因为AI可能在任何环节产生幻觉,我们需要对此非常小心。"他表示,这一责任落在作者和期刊双方身上。

在一篇配套社论中,波士顿大学Chobanian和Avedisian医学院的Howard Bauchner博士和华盛顿大学及西雅图儿童研究所的Frederick Rivara博士、MPH认为,捕捉伪造引用的责任应由作者承担。

他们指出,随着AI和LLM在写作和编辑中使用的增加,伪造引用只会越来越严重。

Bauchner和Rivara,这两位前《美国医学会杂志》(JAMA)编辑强调,"一旦检测到伪造引用,相关论文应被撤回。"

他们写道:"已发表手稿中的伪造引用与研究不当行为一致,应如此处理。"

哈佛医学院的Arjun K. Manrai博士(未参与此项研究)告诉《MedPage Today》,许多AI研究人员都知道伪造引用是一个问题,但对此的研究却很少。

"伪造引用应该引起我们所有人的关注,"Manrai说。"如果我们科学的基础被侵蚀,我们将陷入严重困境。"

Topaz及其合著者提出了四种处理伪造引用问题的策略。首先,出版商应在同行评审前进行自动参考文献验证。其次,索引服务应在文章记录中添加完整性元数据。第三,出版商应对已发表的研究进行追溯筛查。最后,应在研究诚信数据库中将伪造引用设立为一个类别。

这项研究的局限性在于排除了近四分之一没有PMID的参考文献,这可能会使估计产生偏差。此外,研究人员只查看了PubMed Central,这只是所有生物医学研究的一个子集。

Topaz表示,团队正在进行进一步分析,发现伪造引用正在文献中进一步扩散至系统性综述和临床指南中。

"这是最令人担忧的部分,当你作为一名临床医生根据指南提供临床护理,然后你查看该指南中引用的文章,却发现这些引用指向无处,"Topaz说。"这非常令人担忧。"

【全文结束】

猜你喜欢
  • 扎克伯格:在掀起科技行业人才战(薪资超1亿美元)近一年后,称在AI领域取得进展不需要数百名AI研究人员扎克伯格:在掀起科技行业人才战(薪资超1亿美元)近一年后,称在AI领域取得进展不需要数百名AI研究人员
  • 新型AI框架如何帮助医生构建更优医疗工具新型AI框架如何帮助医生构建更优医疗工具
  • 新型AI平台追踪肿瘤类器官对癌症治疗的反应新型AI平台追踪肿瘤类器官对癌症治疗的反应
  • 2026年临床医生和患者对医疗AI的六大担忧2026年临床医生和患者对医疗AI的六大担忧
  • 弗吉尼亚大学加入SPARK GLOBAL加速创新药物研发弗吉尼亚大学加入SPARK GLOBAL加速创新药物研发
  • 微调大型语言模型从非结构化临床笔记中检测社会隔离微调大型语言模型从非结构化临床笔记中检测社会隔离
  • Doctor GPT?人工智能76%的时间能正确回答医疗问题Doctor GPT?人工智能76%的时间能正确回答医疗问题
  • 可行性研究的未来:AI驱动的站点选择与方案优化可行性研究的未来:AI驱动的站点选择与方案优化
  • 2026年CTSI K学者项目入选者揭晓2026年CTSI K学者项目入选者揭晓
  • Moonlight AI完成330万美元种子轮融资Moonlight AI完成330万美元种子轮融资
热点资讯
全站热点
全站热文