在一项旨在实现医疗保健领域伦理和风险规避的人工智能的重大突破中，来自科门纽斯大学的研究人员Andrej Thurzo和Vladimír Thurzo提出了一种新框架，将“恐惧本能”嵌入到医疗AI系统中。这项题为《在医疗AI中嵌入恐惧：一种安全和伦理的风险规避框架》的研究发表在《AI》杂志（2025年第6卷第101篇文章）上。
论文主张将类似于人类杏仁核和军事机器人保护协议的谨慎机制整合到AI驱动的临床决策中，以引入数字形式的本能谨慎。研究试图回答一个引人深思的问题：通过嵌入计算形式的“恐惧”，能否增强医疗AI系统的患者安全性？作者认为，现有的AI缺乏人类用来避免灾难性错误的本能谨慎。尽管AI代理在数据处理速度和精度方面优于临床医生，但在不确定和高风险情况下，它们往往无法暂停或升级决策。
引用了先前AI系统在中风误诊和化疗剂量计算错误的例子，作者倡导进行更深层次的结构转变。他们提出的解决方案是一个持续运行的内部安全层，模仿人类杏仁核——一个能够发出高风险信号并启动防御行动（如暂停决策或提醒人类监督者）的模块。
重要的是，这种“恐惧”是比喻性的。该模块不复制情感，而是使用贝叶斯模型量化伤害概率，从先前的险些失误中强化学习，并结合不确定性估计。当阈值被超过时，系统会将决策升级到人类监督。
技术上，该系统基于几个相互关联的组件：
- 贝叶斯风险评估：评估不良结果的可能性。
- 惩罚驱动学习：模拟临床经验，教导AI避免以前导致错误的路径。
- 不确定性建模：使用高斯过程等技术来衡量推荐的信心水平。
- 分层覆盖：授权人类临床医生审查并最终批准被标记为高风险的关键决策。
作者提供了一个具体的临床例子：神经外科AI助手评估是否进行动脉瘤夹闭手术。如果计算出的灾难性出血风险超过阈值，并且由于解剖异常而系统不确定，它会标记这种情况。而不是继续前进，它会提示人类医生审查病例。
通过将伤害规避编码到AI架构中，系统将表现得不像计算器，而更像是谨慎的从业者——在数据不明确时犹豫，记住过去的错误，并始终优先考虑患者安全。
该研究解决了关于责任和伦理AI治理的更广泛问题。嵌入这样的模块可能有助于弥合临床医生、患者和智能系统之间的信任差距。此外，它还可以支持可解释性，这是“黑盒”AI模型长期以来的问题。
此外，研究人员警告说，过度依赖恐惧机制可能导致过度风险规避。为此，他们建议根据不同临床场景调整自适应阈值。例如，在时间敏感的紧急情况下，较高的触发恐惧阈值可以防止延误，而在不太紧急或高度不确定的情况下，较低的阈值则倾向于谨慎。
论文还将军事和医疗AI系统进行了比较。虽然自主武器可能受益于无情感的超然态度，但作者认为，医疗AI必须具备同情心和谨慎等品质。一个深深嵌入的“恐惧模块”可以作为道德检查点，防止在涉及人类生命决策中的功利冷漠。
作者预计，这一框架可以推广到其他高风险领域，包括自动驾驶、金融交易、灾害响应和司法AI系统，其中“对不公正的恐惧”可以标记出需要人类重新评估的伦理困境。
尽管该框架仍处于概念阶段，但作者提供了实施建议：
- 使用近似失误的惩罚方案进行强化学习。
- 用危害标签注释的真实世界训练数据集。
- 通过对抗训练准备AI应对边缘风险场景。
- 情感启发式代理（如“恐惧指数”）将情感推理融入冷计算中。
研究人员呼吁计算机科学家、伦理学家、临床医生和政策制定者跨学科合作，试点此类系统并定义新的监管标准。他们提倡记录和审计跟踪以保持人类责任，特别是在复杂、高风险决策中可能出现的责任空白。
作者设想了一个医疗未来，其中AI不仅以超人的精确度处理数据，还具有嵌入的谨慎、校准的审慎和与人类伦理框架的深度一致。
(全文结束)
