医疗人工智能的前景常常包裹在关于效率、精确度和变革的华丽营销语言中。然而，对许多医生而言，电子健康记录系统推行时的记忆——以及随之而来的无尽点击操作——仍然像一个警示般萦绕心头。
尼基·帕尼奇博士认为，下一轮技术革新不能再重蹈这些覆辙。
帕尼奇是Penguin AI的首席医疗官，同时也是一名执业家庭医生，她正在推动她称之为"玻璃盒可追溯性"的理念——一种AI生成建议能够展示其背后推理过程而非作为神秘黑盒运作的系统。
帕尼奇表示，如果医院和医疗系统希望医生在临床实践中使用AI，医生需要了解AI系统是如何得出其建议的。
拉开帷幕
在帕尼奇看来，床边透明度必须远远超越深藏在软件菜单中的置信度评分。
"'展示工作过程'在诊疗点必须不仅仅是埋在三级点击深度的引用或置信度评分，"她说，"对于在患者之间穿梭的医生来说，透明度意味着一眼就能看到AI考虑了什么、最重视什么以及忽略了什么。"
她表示，临床医生应该能够看到影响建议的具体病历细节、证据和临床指南。例如，如果AI工具将某位患者标记为高再入院风险，医生应该确切知道原因。
"目标标准应该是一位同事像值得信赖的合作伙伴那样带你理清他们的思考过程，"她说。
帕尼奇描述了一个场景：AI生成的出院建议提议将患者置于一种新型抗凝血药物上。该系统推理中嵌入了一条护理记录，记载患者最近在家摔倒过。
"医生还没有看到那条记录，"她说，"如果没有可见性，她可能已经签字批准并继续下一个任务。有了这条信息，她停下来，打电话给患者家属，并完全重新考虑治疗计划。"
人文因素
帕尼奇认为，医学很少能完美地套用教科书答案。正确的治疗可能会因为恐惧、家庭责任或文化现实而改变，而这些可能永远不会出现在数据集中。
"注射剂的例子完全正确，这是很少出现在任何指南或训练集中的细节，"她说，"害怕打针的患者。作为丈夫主要照顾者的祖母，无法在周二接受手术镇静。"
这就是为什么她认为AI系统应该提供选项，而不是规定诊疗路径。
"AI应该呈现选项、提供背景，并在每一步都为替代方案留出空间，"她说。
同样重要的是，她说，医疗机构必须明确表明医生对最终决定负责。
"医疗系统必须在政策和实践中明确表示，AI建议是对医生负责的临床决策的输入，"帕尼奇说。
她认为，这种平衡使AI能够处理筛选信息的繁重工作，而医生则可以专注于眼前患者。
在EHR时代后赢得信任
帕尼奇表示，要使AI成为医学的常规部分，行业必须直接面对关于偏见、监督和安全的担忧。
"医疗中的错误建议可能让人付出生命代价，"她说。
她呼吁使用更广泛和更具代表性的训练数据、持续的偏见审计以及关于模型在哪些方面表现良好、在哪些方面不足的清晰报告。
"这意味着要透明报告模型表现良好和不足的地方，"她说。
但仅靠技术本身无法赢得持怀疑态度的医生，尤其是那些仍将医疗创新与行政负担联系在一起的医生。
"EHR系统推行的痛苦源于被要求做更多的文档记录、更多的点击操作、更多的行政工作，所有这些都打着进步的旗号，"帕尼奇说。
赢得可信度
相反，她认为AI将通过解决医学中最不 glamorous 但最消耗精力的部分来赢得可信度：预先授权、病历审查、保险拒赔和申诉。
"当AI首先通过减轻行政负担来证明自己，通过缩短工作时间、减轻工作量来让临床医生感受到实际效果时，自然而然就会赢得他们在临床决策支持方面的信任，"她说。
对帕尼奇而言，医疗AI的未来与其说是取代医生，不如说是构建医生可以挑战、质疑并信任的工具。
"你卷起袖子，做减轻最接近患者护理人员负担的不 glamorous 工作，才能赢得这种信任，"她说。
【全文结束】
