在受监管行业的数字化转型过程中，我深刻认识到风险很少会主动宣告自己的存在。它往往通过便利性、过度自信或未加控制的复杂性悄然潜入。最近，一种新的风险形式出现——AI幻觉，其影响从无害到破坏性不等，并可能为高风险行业带来巨大的责任隐患。
尽管生成式AI在医疗、金融、法律和关键基础设施中的采用速度较慢，但已有充分证据表明，AI分析结果听起来合理，却可能是错误的。当这些猜测进入法庭、治疗方案或市场预测时，错误的代价将不再仅仅是学术性的。
AI可能成为医疗、金融和法律领域的重大漏洞
2025年，路透社报道了一起事件：一家美国律师事务所提交了一份包含多个由聊天机器人生成的虚假法律引用的简报。今年，美国法院已标记了七起类似事件，所有案件均涉及生成式AI生成的虚构案例法。
在金融领域，一项针对金融咨询查询的研究发现，ChatGPT回答了35%的问题错误，其中三分之一的回答完全是虚构的。
在医疗领域，来自麻省理工学院（MIT）、哈佛大学（Harvard）和约翰·霍普金斯大学（Johns Hopkins）的专家们发现，领先的医学大语言模型（LLM）在解读实验室数据或生成看似合理但错误的临床场景方面存在令人担忧的高错误率。即使AI大多数时候是正确的，小比例的错误也可能导致医院系统中出现成千上万次危险的失误。
甚至连伦敦的劳合社（Lloyd’s of London）也推出了一项政策，以应对AI“故障或幻觉”风险，涵盖因表现不佳的聊天机器人导致客户蒙受损失的法律索赔。
这些问题并非简单的误差范围问题，而是高风险领域中的系统性失败，且通常伴随着极高的信心传递。此类失误的连锁反应往往远超直接损失，威胁利益相关者的信心和行业声誉。
为什么幻觉问题持续存在：结构性缺陷
大语言模型（LLM）并不“知道”事物，它们不会检索事实，而是根据训练数据中的模式预测下一个词。这意味着，当面对模糊或缺失的上下文时，它们会按照设计初衷生成统计上最可能的响应，而这可能是错误的。这种问题源于架构本身，聪明的提示无法始终克服这一缺陷，且很难通过事后护栏来修复。我们认为，除非从根本上改变黑箱统计模型的架构，否则只要LLM在模糊或陌生领域操作，幻觉问题将持续存在。
缓解策略
以下是按优先级排序的措施列表，可用于限制幻觉问题：
- 对高风险用例应用无幻觉、可解释的符号AI
这是唯一能够彻底消除高风险用例中幻觉风险的方法。
- 限制LLM仅用于低风险领域
不让高风险用例暴露于LLM也是稳妥的做法，但这意味着AI无法为这些用例提供益处。用例筛选是不可妥协的。并非所有AI都适合面向客户的场景或关键任务决策。一些行业现在仅将LLM用于内部草稿，从不用于公开输出——这是一种明智的治理方式。
- 对关键决策实施“人类参与回路”
关键决策需要关键审查。基于人类反馈的强化学习（RLHF）是一个起点，但企业部署需要在模型训练和实时决策检查点中嵌入合格的专业人士。
- 治理
从一开始将AI安全纳入公司治理。设定明确的责任和阈值。“红队”测试系统。将幻觉率纳入董事会层面的风险评估中。遵循NIST的AI风险管理框架（RMF）或FDA的新AI指南，不仅因为法规要求，更因为企业绩效需要。
- 策划领域特定的数据管道
不要用互联网训练模型，而是使用经过严格审核、最新的领域特定语料库，例如临床指南、同行评审研究、监管框架和内部标准操作程序（SOP）。缩小AI知识库的范围并确保权威性可以降低（但无法完全消除）其超出范围猜测的可能性。
- 检索增强型架构（非全面解决方案）
将其与知识图谱和检索引擎结合。混合模型是使幻觉结构上不可能的唯一方法，而不仅仅是降低可能性。
高风险用例中的AI
AI可以彻底改变医疗、金融和法律领域，但前提是它能够缓解上述风险，并通过铁一般的可靠性赢得信任。这意味着要从根本上消除幻觉，而不是掩盖症状。
在当前大语言模型发展的状态下，高风险用例有以下两种选择：
- 采用混合解决方案：对高风险用例使用无幻觉、可解释的符号AI，对其他部分使用LLM。
- 排除高风险用例：如上述第2点所述，但这意味着AI的好处无法应用于这些用例。不过，AI仍可为组织的其他部分带来益处。
除非能够保证准确性和零幻觉，AI将无法跨越信任、透明度和问责制的门槛，从而在这些受监管行业中实现深度应用。
(全文结束)
