一项研究表明，人工智能在医学伦理推理方面存在盲区，即便面对简单的情境，只要稍作修改，AI就可能出现误判。
由西奈山伊坎医学院（Icahn School of Medicine at Mount Sinai）的研究人员与以色列拉宾医学中心（Rabin Medical Center）及其他合作机构的团队共同完成的一项研究发现，即便是最先进的大型语言模型（LLMs），如ChatGPT，在面对复杂的医学伦理场景时也可能犯下令人惊讶的简单错误。
这项研究结果引发了关于在医疗环境中何时以及如何依赖大型语言模型的重要问题，并于2025年7月22日在线发表在《NPJ数字医学》（NPJ Digital Medicine）期刊上。
研究团队受到丹尼尔·卡尼曼（Daniel Kahneman）所著《思考，快与慢》（Thinking, Fast and Slow）一书的启发，该书对比了快速直觉反应与慢速分析推理。此前已观察到，当经典横向思维谜题被轻微修改时，大型语言模型会出现失误。基于这一观察，研究人员测试了人工智能系统在面对故意修改后的著名伦理困境时，如何在两种思维模式之间切换。
“人工智能可以非常强大和高效，但我们的研究表明，它可能会默认选择最熟悉或最直觉的答案，即使这种回答忽略了关键细节，”西奈山伊坎医学院人工智能与人类健康温德赖希系（Windreich Department of Artificial Intelligence and Human Health）生成式人工智能首席官埃亚尔·克兰（Eyal Klang）博士表示。“在日常情境中，这种思维方式可能不会引起注意。但在医疗领域，决策往往涉及严重的伦理和临床后果，忽略这些细微差别可能会对患者产生真实影响。”
为了探索这种倾向，研究团队测试了多个市面上可用的大型语言模型，结合创意横向思维谜题和略作修改的经典医学伦理案例。例如，他们改编了著名的“外科医生的困境”（Surgeon's Dilemma），这是一个广泛引用的1970年代谜题，用于突出隐性性别偏见。在原始版本中，一名男孩与父亲发生车祸受伤，被送往医院，外科医生惊呼：“我不能给这个男孩动手术——他是我的儿子！”谜题的关键在于，外科医生其实是男孩的母亲，但由于性别偏见，许多人不会考虑这种可能性。在研究人员的修改版本中，他们明确指出男孩的父亲就是外科医生，从而消除了歧义。尽管如此，一些人工智能模型仍然回应称外科医生必须是男孩的母亲。这种错误表明，大型语言模型会固守熟悉的模式，即使新信息已与之矛盾。
另一个测试案例来自经典的伦理困境：宗教信仰的父母拒绝为孩子接受挽救生命的输血。即使研究人员修改情境，明确指出父母已经同意治疗，许多模型仍然建议推翻一个实际上并不存在的拒绝决定。
“我们的研究结果并不意味着人工智能在医学实践中没有一席之地，但它确实强调了在涉及伦理敏感性、细致判断或情感智能的情境中，人类监督的必要性，”西奈山伊坎医学院人工智能与人类健康温德赖希系主任、哈索·普拉特纳数字健康研究所（Hasso Plattner Institute for Digital Health）主任、医学教授吉里什·N·纳德卡尼（Girish N. Nadkarni）博士表示。“当然，这些工具可以非常有帮助，但它们并非万无一失。医生和患者都应明白，人工智能最适合用来增强临床专业知识，而不是取代它，尤其是在面对复杂或高风险决策时。最终目标是建立更可靠且符合伦理标准的方式，将人工智能整合到患者护理中。”
“对熟悉案例的简单修改暴露了临床医生无法承受的盲点，”该研究的第一作者、拉宾医学中心大卫夫癌症中心（Davidoff Cancer Center）血液学研究所研究员谢莉·索弗（Shelly Soffer）博士表示。“这强调了在部署人工智能进行患者护理时，人类监督必须处于核心地位。”
接下来，研究团队计划扩大研究范围，测试更多临床案例。他们还在开发一个“人工智能保障实验室”（AI Assurance Lab），以系统评估不同模型在应对现实世界医学复杂性方面的能力。
该论文标题为《大型语言模型在医学伦理推理中的陷阱》（Pitfalls of Large Language Models in Medical Ethics Reasoning）。
论文作者包括谢莉·索弗（Shelly Soffer）博士、维拉·索林（Vera Sorin）博士、吉里什·N·纳德卡尼（Girish N. Nadkarni）博士、公共卫生硕士（MPH），以及埃亚尔·克兰（Eyal Klang）博士。
【全文结束】
