很难找到日常生活中不受人工智能(AI)发展影响的领域,医疗保健也不例外。许多组织、政府和企业都承诺AI带来的好处,特别是作为残障人士的辅助工具。重要的是要评估和理解AI如何使我们的社区受益,以及它可能在哪些方面造成伤害。
凯撒家庭基金会(Kaiser Family Foundation)报告了AI在消费者健康市场的增长。过去一年,ChatGPT Health等新的消费者工具已经出现。寻求健康信息的消费者可能将聊天机器人工具视为专业护理提供者的补充,特别是在保险成本不断上升和就医难度加大的情况下。了解如何利用资源并认识AI聊天机器人的局限性,对于残障人士来说是一个重要的公共卫生问题。城市研究所(The Urban Institute)对AI工具进行了一项研究,发现超过60%的情况下存在数据检索不准确的问题。
越来越多的个人在没有提供者协助的情况下,转向生成式AI工具来回答自己的健康问题,这一趋势可能会随着许多人无法获得保险和负担医疗费用而增长。来自OpenAI的数据显示,到2026年,全球每天有超过4000万人在ChatGPT上获取健康信息。人们使用消费者AI工具获取医疗建议和诊断协助。KFF的一项调查发现,三分之一的成年人使用AI聊天机器人来了解他们的健康保险。OpenAI的数据显示,用户每周提出多达190万个关于健康保险选择的问题,包括比较计划、讨论索赔流程和账单。我们鼓励人们在从AI工具获取健康信息后,与值得信赖的提供者进行后续讨论。
对于认知或心理社会残障人士来说,依赖AI聊天机器人获取心理健康支持可能是对持证咨询师或同行专业人士支持的危险替代方案。在最近的一项研究中,研究人员调查了AI聊天机器人对心理健康状况人士的使用可能增加精神病风险等问题。他们发现,AI聊天机器人经常提供虚假叙述,可能增加脆弱个体的精神病风险。特别是,这些聊天机器人可以强化那些有困难思想的人的社交退缩和孤立。它们还被设计为告诉用户他们想听的内容,可以强化错误认知或分享错误信息。对于正在经历心理健康危机的人来说,他们可能更不可能批判性地审视从聊天机器人获取的信息,甚至可能将该工具视为有感知能力的生物。"AI精神病"已被确定为一些没有预先存在心理健康状况的个体的触发事件。这些发现促使世界卫生组织(WHO)等监管和专业组织呼吁对AI进行更多监督和监管。
我们这些与残障共存的人需要更加个性化和准确的护理来满足我们的需求。不幸的是,当基于有限的、能力主义(ableist)数据集工作时,AI资源可能并不总能提供这种支持。对于残障人士和慢性病患者来说,使用依赖AI的医疗服务和资源可能会带来独特的挑战。当任何人从AI程序寻求准确信息时,他们可能不知道如何确定什么是真实的,什么不是。对于智力和认知残障人士来说,在这种环境中导航可能更具挑战性。在这篇博客中,我们将讨论AI如何在医疗系统和服务背后使用,以及这对残障人士的影响。
人工智能在医疗系统中的应用
AI在医疗保健环境中越来越多地用于各种用途。AI的应用范围从诊断到创建新的药物协议,再到协助行政任务。AI还用于评估大型数据集,以研究健康环境和社会驱动因素,或检查电子健康记录中的趋势。通过深度学习模型,AI被用作疾病监测、疾病爆发预测以及对患者和提供者的风险评估工具。医疗保健提供者越来越多地使用AI来支持他们工作的效率和准确性。医疗办公室和医院的行政任务,如文件管理和日程安排,越来越多地由AI执行。这些模型被用于支持安排手术和在患者预约期间做笔记等任务。
医疗保险公司也将AI视为削减成本的工具,这可能会减少医疗服务的提供。AI可用于分析索赔、处理拒绝和自动预先授权决定。根据美国医学协会(American Medical Association, AMA)的一项调查,超过60%的医生表示AI工具经常拒绝为患者提供必要的医疗保障。使用AI进行预先授权,拒绝率已显示出增加了16%,为寻求所需护理的患者创造了挑战。在没有对预先授权等事务中的AI进行监管的情况下,残障人士的医疗保健获取面临另一个障碍。
残障、医疗保健与AI
我们同意,为了让AI使残障人士受益,特别是我们的健康,它需要既反能力主义又具有可访问性。虽然基于AI的技术有望改善可访问性,但它也可能复制有害的、能力主义的和歧视性数据,这些数据会影响医疗决策和护理。它通常局限于已经缺乏有意义的残障数据的能力主义数据集。AI是在不能充分代表残障人士的模型上训练的。如果这些模型不能解决数据差异,偏见就会变成系统性的。
残障AI用户在与数字工具(包括AI数据分析)交互时也可能面临额外的隐私风险。数字数据可能被分析为残障的迹象,这可能会影响就业、住房和医疗保健的获取。如果没有残障用户参与AI开发,当前系统可能会继续复制偏见和有害结果。
与围绕AI在预先授权中使用的担忧类似,倡导者还担心AI可能使用"质量调整生命年"(quality-adjusted life years, QALY)自动做出对残障人士的决定。QALY是一种歧视性的方式来做治疗决定,可能会减少药物和治疗的获取。我们在美国健康与残障协会(AAHD)反对QALY,因为它们直接使残障人士处于不利地位并贬低他们的价值。QALY可用于限制护理获取,因为更昂贵的治疗可能被标记为成本效益较低。这可能从最需要治疗的人那里夺走护理。如果AI利用包含QALY的数据集,它将危险地增加QALY在医疗保健中的使用,并破坏残障倡导者为禁止使用QALY而奋斗的法律。
人工智能可能会加深残障人士的不平等。KFF的数据显示,AI模型正在复制系统性种族主义,导致护理中的种族差异。这些影响对于有色人种残障人士来说是复合的。在大型数据集上训练的AI模型也有风险复制"医疗模式的残障",这种模式将残障视为需要治愈的状况。这种能力主义观念损害了试图达到最高健康水平的残障人士的需求和关注。
尽管67%的成年人报告不信任AI能够提供可靠的服务和信息,并且其广泛使用伴随着伦理和环境问题,但对于许多提供者来说,AI不仅会继续存在,而且是他们实践的未来方向。为了让AI系统更具可访问性,与残障共存的人需要参与其中,为他们所需发声,并预见社区未来的需求。没有这些声音,AI的未来对那些最有可能从其所承诺的潜力中受益的人来说,看起来将继续是歧视性的、不可访问的,甚至可能是危险的。为确保AI支持积极的健康结果,法规应要求涉及医疗必要性的预先授权和索赔决定包括有意义的人类临床审查,不能仅依赖自动算法。政策制定者还应强制要求透明度、定期审核偏见和准确性、保护患者隐私,以及要求AI系统考虑每位患者的个人临床情况,而不是仅基于历史数据模式做出决定,特别是当这些数据来自已知偏见的地方时。
【全文结束】

