人工智能越来越多地应用于家庭护理中，但家庭护理人员通常对此并不了解。他们也不理解人工智能的工作原理、为什么它会保留他们的信息，以及它可能在工作场所复制偏见和歧视。
康奈尔大学的研究团队调查了人工智能工具对一线家庭护理人员（如个人护理助理、家庭保健助理和认证护理助理）工作的潜在影响，并进行了一项定性研究。他们将在2025年4月26日至5月1日在日本横滨举行的计算机协会人机交互会议（CHI '25）上展示这项研究成果。
“我们的研究迈出了更广泛议程的第一步，旨在提升一线利益相关者在设计和采用安全和伦理的人工智能系统中的声音，”该论文的合著者、康奈尔科技学院信息科学副教授Nicola Dell说。她同时也是雅各布斯·特克尼昂-康奈尔研究所和康奈尔安·S·鲍尔斯计算与信息科学学院的副教授。
研究人员对22名家庭护理人员、护理机构工作人员和工人倡导者进行了采访，发现家庭护理人员对人工智能技术、数据使用及其为何保留他们的信息缺乏了解。
“研究参与者认识到人工智能工具可以显著提高效率，特别是在面临劳动力短缺和需求增加的行业中，”该论文的合著者、康奈尔科技学院计算与信息科学博士生Ian René Solano-Kamaiko说。“然而，我们看到机构参与者往往仅仅因为这些系统改善了运营结果而假设它们是可信的，尽管他们承认不知道这些工具是否公平运作。”
研究中的家庭护理人员普遍没有意识到人工智能已经应用于他们的工作中，特别是通过算法排班系统，这些系统被雇佣他们的机构使用。家庭护理人员通过一个匹配过程从机构获得班次分配，该过程旨在平衡他们的可用性、资格和地理位置与患者的需求和位置。
“我们发现了一个显著的知识差距：机构工作人员通常更了解人工智能在家护中的应用，而大多数直接受影响的家庭护理人员对人工智能知之甚少，甚至不知道它已经在他们的工作中使用，”Solano-Kamaiko说。
考虑到算法排名系统（类似于家护中的排班系统）已被证明会歧视与家庭护理人员具有相同人口特征的群体（女性、有色人种、移民和其他边缘化身份的人），这种知识差距令人担忧。
“虽然一些参与者承认人工智能有可能强化现有的不平等，但大多数人对这些技术可能再现种族主义、性别歧视和其他形式的歧视几乎一无所知，”Solano-Kamaiko说。“这些发现强调了迫切需要在家庭护理环境中提高透明度、加强监督和意识。”
为了更好地支持未来的家庭护理人员，研究人员强调需要建立公平、参与式的治理结构来监管人工智能。他们认为这些结构应包括所有层面的重要利益相关者，包括患者和家庭护理人员。
“参与式的方法来开发人工智能治理需要谨慎构建，以确保它们关注那些不仅处于边缘地位，而且在当前关于人工智能治理的讨论中被严重排除在外的利益相关者的问题和潜在解决方案，”Solano-Kamaiko说。
为了确保这些利益相关者具备必要的知识以帮助管理人工智能结构，研究人员还提倡“以利益相关者为先”的人工智能教育方法。
“‘以利益相关者为先’的方法将重点从要学习的技术内容转移到人工智能系统应用的具体情境，”Solano-Kamaiko说。“这种方法有助于工人更好地理解和推理其特定情境下人工智能的影响，而无需编程等技术技能。”
这项研究由人力资源创新资源中心资助。
(全文结束)
