原创研究文章
探究用户与人工智能在健康信息查询中的互动模式
亮点
- 分析了1,695个与生成式人工智能进行的真实健康相关对话。
- 应用TF-IDF和线性支持向量机对常见的健康查询类别进行分类。
- 一般健康和医学教育成为最主要的查询类型。
- 心理健康和儿科领域的查询表现出更长、更具迭代性的互动。
- 生成式人工智能主要作为初步健康信息辅助工具发挥作用。
摘要
本研究探讨了个人在寻求健康相关信息时如何利用生成式人工智能(GAI)。通过使用Hugging Face上提供的用户-GAI聊天记录数据集,我们分析了用户向生成模型提出健康相关问题的真实互动。我们应用了数据和文本分析方法的组合来对这些互动进行分类,包括支持向量机(SVMs)等监督机器学习技术。选择SVMs是因为它们在高维文本分类任务中的高效性和强大性能,用于识别用户查询和互动中的常见主题。我们发现,用户经常咨询AI聊天机器人以探索症状、获取医学教育、寻求心理健康支持和一般健康建议。研究结果表明,GAI工具不仅可作为信息资源,还可作为初步支持工具,塑造用户的健康知识并鼓励他们寻求专业医疗咨询。
引言
生成式人工智能(GAI)已经影响了各个行业,并促使人们集体重新思考信息的生产和解释方式。医疗保健也不例外。研究表明,GAI技术正被应用于众多医疗保健领域,包括医学影像、诊断支持和健康教育。近期研究还探索了在健康相关任务背景下用户感知与GAI结果的交集。研究报告了广泛的结果范围,从GAI诊断性能与人类临床医生的准确度水平相匹配甚至超过,到高变异性、幻觉和不准确性[1-6]。关于幻觉的担忧在医疗保健领域构成了相当大的风险,因为大型语言模型(LLMs)缺乏高质量医学文献的全面训练[7-10]。GAI聊天机器人还通过其可访问性和易用性提供效用[11],特别是对于讨论尴尬或污名化的状况,用户可能因此犹豫寻求建议[11]。专业机器人,如VaxBot-HPV,展示了GAI作为直接面向消费者的健康资源的潜力[12]。然而,关于大规模真实世界互动或通信数据的研究较少,以了解个人如何使用GAI获取医疗指导[13,14]。
方法
为研究这一问题,我们使用监督机器学习分类技术分析了来自Hugging Face的大规模对话数据。我们利用数据过滤和计算文本分析,特别是支持向量机(SVMs),来研究个人在健康相关情境中如何与大型语言模型互动。该过程在配备i5-12500H CPU、GeForce 3060笔记本GPU和32 GB RAM的硬件上完成。以下部分将详细解释研究方法。
结果
从WildChat-4.8 M数据集中筛选出的1.6千个医疗对话中,约400个对话被手动标注为表A2所示的类别。这些标签反映了在检查重复对话主题时出现的类别,旨在捕捉每个对话的主要主题。本文的两位作者参与了这一标注过程。两位评估者分别对一组共享的100个对话进行了标注,使用了两种不同的标准。
讨论
我们的研究结果表明,用户主要将GAI聊天机器人视为初步信息资源。许多用户以试图评估症状严重程度并确定是否需要医疗关注的方式来构建他们的查询。大多数对话在大约两轮后结束,表明用户寻求快速澄清或确认。与排便、体重减轻、体型、用药习惯和性健康相关的查询经常出现,支持了GAI在处理敏感健康话题方面具有独特优势这一观点。
贡献
本研究为了解个人在健康相关情境中如何与AI聊天机器人互动提供了洞见。首先,我们的研究结果表明,许多用户在可能寻求专业护理之前,使用AI聊天机器人更好地理解医学主题。医疗专业人员应意识到患者的担忧可能受到先前聊天机器人互动的影响,并就GAI用于医疗支持与患者进行沟通。此外,专注于心理健康和儿科领域的对话普遍性表明,这些领域可能特别适合AI辅助支持。
局限性
我们的数据过滤策略旨在优先考虑精确度而非召回率,要求医学术语与咨询或安全相关语言明确共现。这可能排除了隐含的健康查询,即用户以模糊术语描述症状的情况。未来的工作可以放宽词汇约束,转而采用基于语义嵌入的检索,以捕捉更广泛的隐含医疗建议寻求行为。
本研究目前仅依赖于WildChat数据集的非毒性子集,可能无法代表所有健康信息寻求行为。
结论
本研究探讨了个人在自然情境中如何使用GAI系统寻求健康信息。在1600多个对话中,我们发现个人主要将AI聊天机器人作为初步信息工具使用。虽然本研究没有直接分析行为结果,但互动模式表明,GAI响应可能会影响用户如何解释症状以及是否决定寻求护理。
了解个人如何使用GAI系统获取健康信息具有重要价值,这有助于设计更安全、更有效的健康AI工具,并指导医疗专业人员理解患者可能受到AI互动影响的健康决策过程。
作者贡献声明
Jade T. Wang:写作-审阅与编辑,原始草稿写作,验证,方法论,调查,形式分析,数据管理,概念化。
Hyun Woo Chung:写作-审阅与编辑,原始草稿写作,验证,方法论,调查,形式分析,数据管理,概念化。
Giang N. Do:写作-审阅与编辑,原始草稿写作,验证,方法论,调查,形式分析,数据管理,概念化。
Alan T. Yang:写作-审阅与编辑,原始草稿写作,验证,方法论,调查。
利益冲突声明
作者声明,他们没有已知的可能影响本论文所报告工作的竞争性财务利益或个人关系。
【全文结束】

