当你的AI代理脱离脚本:莫菲特癌症中心早期发现的问题When your AI agent goes off script: What Moffitt Cancer Center caught early

环球医讯 / AI与医疗健康来源:www.beckershospitalreview.com美国 - 英语2026-05-22 01:12:03 - 阅读时长4分钟 - 1534字
莫菲特癌症中心在实施面向患者的生成式AI聊天代理过程中发现,AI系统可能"脱离脚本"讨论原本不打算涉及的话题。高级副总裁贝丝·林赛-伍德分享了该中心的经验教训,包括必须明确定义AI操作参数范围、设定严格界限防止过度个性化互动、确保AI不能开处方或承认治疗方案等关键措施。经过数月内部测试和与供应商合作解决差距,该中心强调AI治理的重要性,特别是在实施Epic和Workday等含AI功能系统时,必须建立结构化方法监控和验证AI系统,确保患者安全,避免直接投入生产可能带来的风险。
癌症护理AI聊天代理AI治理癌症早期发现放射学检查患者护理癌症治疗
当你的AI代理脱离脚本:莫菲特癌症中心早期发现的问题

随着医疗系统加速采用人工智能技术,技术领导者们发现一些最大的风险在供应商演示阶段并不明显。

据莫菲特癌症中心(位于佛罗里达州坦帕市)高级副总裁兼首席信息学和技术官贝丝·林赛-伍德表示,该中心在实施面向患者的生成式AI聊天代理过程中,收获了一些最具启发性的教训。

"由于我们以前从未做过类似的事情,其复杂性超出了我们最初的预期,"林赛-伍德女士告诉Becker's。"我们必须全面考虑所有因素,包括用于开发聊天代理的大型语言模型。"

在这种情况下,该代理直接与患者互动,因此莫菲特癌症中心必须明确定义其可操作的参数范围。

"很容易忽视某些问题,然后代理就会认为讨论那些你从未打算让它涉及的话题是可以的,"林赛-伍德女士说。

其中一个用例涉及在放射学检查前联系患者——询问有关幽闭恐惧症、植入物和其他准备细节的问题。莫菲特癌症中心在患者到达时会再次验证所有信息,但该代理帮助机构提前联系到更多患者,避免了日程安排的中断。

"不过,我们必须确定这些脚本将如何运行,以及互动应该有多个性化,"林赛-伍德女士说。"一些AI代理试图通过提及生日或以前的对话来建立熟悉感。我们认为其中一些做法对我们来说太过分了,所以我们对代理可以做什么和不能做什么有非常明确的规定。"

由于这是该癌症中心第一个真正独立的面向患者的代理,机构必须设定明确的界限。

"它不能开处方或承认治疗方案,"林赛-伍德女士说。"如果患者说了令人担忧的话,代理需要适当地上报。这其中涉及大量的细节。"

莫菲特癌症中心首先在内部进行试点,在测试过程中,该机构意识到有一些事情是他们之前没有考虑到的。

"我们必须回到供应商那里解决这些差距,"林赛-伍德女士说。"在我们对结果感到满意之前,测试持续了好几个月。"

林赛-伍德女士表示,莫菲特癌症中心的愿景是在AI方面走在前列,但不是为了AI而AI。

"我们希望改善癌症护理,支持发现和治愈,并在增长过程中更好地管理运营费用,"她说。"在病理学和放射学等领域,对试点AI工具有着巨大的需求,因为它们确实可以改善患者护理。这很令人兴奋。"

但林赛-伍德女士也认为,所有IT组织都将面临一波浪潮。

"我们必须在选择正确解决方案方面保持纪律性——不仅仅追逐任何闪亮的新事物,"她说。"我们应该在适当的情况下利用我们已有的平台,并专注于与我们的使命和战略目标最密切相关的AI计划:改善护理提供和推进癌症治疗和治愈。"

目前,莫菲特癌症中心的首席风险官正在领导AI治理,这帮助癌症中心更加关注诸如代理式AI等问题。

"我们已经进行网络安全审查和技术评估,但我们缺乏的是实施、监控和持续验证AI系统的结构化方法,"林赛-伍德女士说。"例如,如果供应商说他们有'人在环中',我们现在会问:在多少索赔上?多久一次?这些审查实际上是如何进行的?"

莫菲特癌症中心正在实施一个治理平台,将帮助其更有效地监控和记录所有这些内容,但目前大部分工作仍然是手动完成的。

"AI治理现在是我们工作的重中之重,特别是当我们实施Epic和Workday(两者都包含AI功能)的同时,还在研究中开发我们自己的AI模型,"林赛-伍德女士说。"我们需要在所有这些环境中实施治理。你不能再像以前那样购买某些东西并直接投入生产,特别是如果它直接接触患者的话。"

【全文结束】

猜你喜欢
  • AI聊天机器人医学执照考试成绩超越人类医生——对医疗行业意味着什么AI聊天机器人医学执照考试成绩超越人类医生——对医疗行业意味着什么
  • 单个元音变化可预测心力衰竭住院风险:TIM-HF3研究单个元音变化可预测心力衰竭住院风险:TIM-HF3研究
  • AI医疗保健的三脚架:为何倾听身体应放在首位AI医疗保健的三脚架:为何倾听身体应放在首位
  • 阿布扎比卫生部与弗雷德·哈钦森癌症研究中心合作开展癌症研究与个性化预防阿布扎比卫生部与弗雷德·哈钦森癌症研究中心合作开展癌症研究与个性化预防
  • 心理健康意识月:技术与社交媒体的交汇点心理健康意识月:技术与社交媒体的交汇点
  • 同构实验室筹集21亿美元用于人工智能药物研发同构实验室筹集21亿美元用于人工智能药物研发
  • 查尔斯国王体验手术机器人并与癌症患者交流查尔斯国王体验手术机器人并与癌症患者交流
  • 门诊心脏病学所需的"毅力"门诊心脏病学所需的"毅力"
  • AI补丁识别不明原因不孕的可能病因AI补丁识别不明原因不孕的可能病因
  • 美国癌症研究协会药物发现与开发会议(AACR D3)周二日程安排美国癌症研究协会药物发现与开发会议(AACR D3)周二日程安排
热点资讯
全站热点
全站热文