现代AI模型能够创建从未提供给它们的图像的令人信服的描述——研究人员将这种现象称为"幻影"。
研究人员一直在训练人工智能（AI）系统来解读乳房X光检查、MRI和组织活检等视觉测试结果——随着AI能力日益增强，一些分析人士认为这些模型将取代人类在医学诊断领域的角色。
但一项新研究对当前AI模型提供可靠结果的能力提出了质疑，揭示了可能阻碍其在医学中应用的关键缺陷。
这项尚未经过同行评审的研究于3月26日作为预印本发布在arXiv上。科学家展示，多种常用AI模型即使实际上没有接收到要分析的图像，也能详细描述图像并生成临床发现。
研究人员将这种现象称为"幻影"，这是首次在多个AI模型中展示这种效应，这些模型被用于跨多个学科解读图像。
"我们展示的是，即使你的AI正在描述一个你认为'不可能凭空捏造'的非常具体的事物，是的，它们也能捏造出来，"研究第一作者、斯坦福大学数据科学家Mohammad Asadi说。"它们能捏造出非常罕见、非常具体的事物。"
当AI看到不存在的事物
AI"幻觉"已有充分记录，涉及模型填充捏造的细节，例如为真实论文提供虚假引用。它们通常源于AI根据所提供的训练数据做出不准确或不合逻辑的预测。相比之下，科学家将新研究中的现象称为"幻影"，因为AI自行创建了原始图像的描述，然后基于这些不存在的图像给出答案。
在研究中，研究人员向12个模型提供文本输入提示，例如"识别该组织学切片中存在的组织类型"。然后，他们要么提供切片图像，要么不提供。当模型未收到图像时，有时会提醒用户未提供图像。然而，大多数情况下，模型会描述一个不存在的图像，并对原始提示提供答案。
研究人员在20个学科中观察到这种"幻影模式"，测试了模型对各种图像（从卫星图像到人群再到鸟类）的解读。幻影效应在所有学科和所有AI模型中都存在，程度各不相同。但在医学诊断中表现得尤为明显。
当被给予关于脑部MRI、胸部X光片、心电图或病理切片的文本提示但没有实际图像时，AI模型的答案往往偏向于需要立即临床随访的诊断。因此，如果用于临床决策，AI可能会促使比实际需要更积极的医疗干预，研究团队得出结论。
为什么AI会虚构图像
那么，AI模型如何描述不存在的图像呢？
这些已在海量文本和视觉数据上训练的模型，旨在用最少的步骤找到问题的答案。研究表明，它们会采取任何可能的捷径来提供答案。因此，模型最终可能仅依赖这种训练逻辑，而非所提供的图像。
研究人员发现，有趣的是，在"幻影模式"下，AI模型在通常用于评估其准确性的基准测试中表现也很好。这些标准化测试要求模型完成一项任务（如回答多项选择题），并将性能与预期输出的答案键进行比较。
研究人员可以调整基准测试以评估AI对图像的视觉理解，但这种方法无法考虑基于幻影回答的问题。此外，AI模型通常在用作编写基准测试参考的数据上进行训练。因此，模型可能基于该参考数据回答问题，而非实际解读图像。
Asadi表示，这是一个问题，因为我们无法判断AI模型是否真正分析了图像还是在凭空捏造。如果你上传了一堆图像但其中几个损坏或从数据集中缺失，模型可能不会告诉你。它仍可能基于幻影图像提供非常连贯、全面且令人信服的答案。
"[AI模型]非常擅长解读图像，"Asadi说。"但另一方面，它们也极其擅长说服我们……并以权威的方式与我们交谈。"
这种权威性体现在许多消费者向AI聊天机器人查询健康指导的事实中，约三分之一的美国成年人报告他们这样做。研究作者表示，这种对话权威性增加了伪造或过度自信的输出被公众和医疗专业人员信任的风险。
"我们迫切需要新一代的评估框架，严格衡量真正的跨模态整合——确保AI真正'看到'病理而非仅仅'解读'临床背景，"未参与该研究的UCLA放射科生物医学AI研究员Hongye Zeng在给《Live Science》的电子邮件中表示。
这项研究表明，尽管AI已成为医学诊断中日益有用的工具，但其内部工作机制仍有我们不理解的方面。Asadi认为AI模型能够发现可能被医疗专业人员遗漏的事物，但他也相信我们对它们的信任应该有限度。
AI公司已试图建立防护栏以防止其模型产生幻觉或传播错误信息——但Asadi警告说，即使是这些防护措施也无法完全防止幻影效应。
【全文结束】