2025年8月12日更新的采访中，AI事实核查平台Infactory联合创始人兼首席执行官Brooke Hartley Moy坦言，当美国食品药品监督管理局(FDA)为加速药物审批推出的AI工具Elsa开始生成虚假研究数据时，她并不感到意外。
关键要点：
- FDA新推出的AI工具Elsa在药物审批过程中生成虚假医学研究数据，暴露出生成式AI在医疗领域的重大风险
- 大语言模型存在事实幻觉、过度简化复杂信息、生成误导性结论等固有缺陷
- "在医疗行业，微小错误会产生重大影响"，Hartley Moy强调
虚构场景揭示风险
设想一个生死攸关的场景：危重病人急需革命性药物续命。FDA运用生成式AI工具Elsa加速审批流程，药物得以快速上市。但问题在于Elsa与多数同类程序一样存在事实幻觉，药物获批基于虚构的医学研究。患者病情持续恶化，最终悲剧发生——尽管这只是假设性场景，但FDA内部人士7月向CNN证实，Elsa确实存在编造医学研究数据的问题。
技术缺陷分析
"Elsa本质上不适合临床审查，因为它频繁误解重要数据。任何无法二次验证的内容都不可靠，它会充满自信地产生错误信息。"某FDA雇员透露。值得注意的是，FDA曾与OpenAI合作开发Elsa。虽然大语言模型理论上能加速拖沓数年的药物审批流程，但目前尚未成熟。Infactory首席执行官在接受Cybernews专访时指出，当前AI模型存在三大缺陷：
- 事实幻觉（生成虚假信息）
- 过度简化复杂医学信息
- 生成极具说服力的错误结论
LLM技术本质局限
Mount Sinai医学院最新研究显示，广泛使用的AI聊天机器人极易重复和扩展虚假医疗信息。Hartley Moy强调："在医疗行业，AI必须作为人类能力的增强工具，而非决策替代品。"她指出，大语言模型本质上是概率模型，其"幻觉"特征既是优势也是缺陷——既能创造动态应用场景，又严重威胁需要高精度的领域。
医疗AI应用边界
尽管AI在数字病历记录、症状自查平台等领域已显现价值，但Hartley Moy特别指出："在生命攸关的药物审批环节，必须建立严格的人机协作机制。我们与医疗培训机构的合作显示，通过控制信息源可提高AI准确性，但人工审核机制必不可少。"
监管困境剖析
FDA面临的三大挑战：
- 技术认知偏差：将AI过度理想化，忽视其局限性
- 人才储备不足：政府机构缺乏顶尖AI专家，人才集中于大科技公司
- 实施速度压力：为显示创新成果而仓促部署不成熟技术
风险领域扩展
除医疗领域外，金融行业也面临AI应用风险：
- 对冲基金已长期使用机器学习模型
- 金融本质是专业赌博，风险内生于业务
- AI可能加速金融系统性风险的累积
发展路径建议
解决方案包括：
- 结合确定性处理路径与生成式AI的概括能力
- 建立严格的事实验证机制
- 采取更保守的监管策略重建公众信任
Cybernews专访揭示，当前AI技术尚未达到可在医疗等高风险领域独立决策的成熟度。Hartley Moy建议将AI定位为"超级增强工具"，充分发挥其处理海量信息的能力，同时保持必要的人工干预。这种平衡策略既可利用技术优势，又能规避潜在风险。
【全文结束】
