本文最初发表于Healthcare Dive。
要点概述：
- 美国医学会(American Medical Association, AMA)正敦促国会为心理健康领域的AI聊天机器人制定安全措施，因为越来越多的美国人转向该技术获取健康信息和建议。
- AMA在周三致信数字健康和人工智能领域三个国会委员会的主席，这家主要的医生游说组织表示，"设计良好、专门打造"的工具可以帮助那些难以获得心理健康服务的患者，但缺乏安全协议带来了严重风险。
- 隐私问题、对AI的情感依赖风险以及有报道称这些工具可能鼓励自残行为，都表明"需要立即关注，以确保这些工具不会无意中伤害寻求心理健康支持或陪伴的个体"，AMA首席执行官约翰·怀特(John Whyte)博士写道。
深入分析：
越来越多的美国人正在使用AI聊天机器人获取健康信息。根据健康政策研究机构凯撒家庭基金会(KFF)上月发布的一项民意调查，近30%的人报告称在过去一年中曾使用这些工具获取身体健康建议，而六分之一的人表示曾使用AI获取心理健康方面的帮助。
支持者认为，这些工具可以帮助美国人应对国家复杂的医疗生态系统，并快速找到问题的答案——这在行为健康领域尤为具有挑战性，因为许多社区面临心理健康专业人员短缺的问题。
但其他专家担心聊天机器人可能提供误导性或不准确的信息，可能导致患者受到伤害。近年来已有多个案例显示，年轻用户在向AI聊天机器人倾诉后自杀身亡。家属报告称，AI没有敦促他们寻求帮助，有时甚至似乎鼓励自残行为。
目前，AMA正在致信国会人工智能核心小组、国会数字健康核心小组和参议院人工智能核心小组的联合主席，呼吁立法者采取行动应对AI问题。
AMA表示，国会应填补阻碍AI监管的监管漏洞，因为现有框架并非为能够在单次互动中从闲聊转变为治疗指导的生成式AI工具而设计。
例如，根据该信函，国会应禁止聊天机器人诊断或治疗心理健康状况，而那些这样做的工具应由美国食品药品监督管理局(FDA)作为医疗器械进行审查。
立法者还应指示FDA明确哪些AI工具符合一般健康技术的资格，哪些应接受机构审查。AI公司应被要求进行持续的安全和性能监测，其聊天机器人应能够识别自杀意念和自残风险。
AMA还指出，立法者可以在包括透明度要求在内的多个领域增加安全措施。例如，聊天机器人应明确披露用户正在与AI对话，并解释该工具接受何种人类监督（如果有的话）。
应劝阻在心理健康聊天机器人中投放广告，并禁止针对儿童的广告。此外，AMA表示，立法者应要求AI开发者实施网络安全措施，以确保健康数据不会被暴露或共享。
"数据中心的一个弱点就可能暴露聊天机器人数据并削弱信心，"这家医生游说组织写道。"这些风险并非假设；它们是现代软件的常见特征，当聊天机器人被用于讨论健康问题时，这些风险会被放大。"
特朗普政府在推动技术采用的过程中，总体上对AI采取了放松监管的立场。
然而，一些州已经开始监管AI，包括通过法律监管心理健康聊天机器人。去年，伊利诺伊州禁止使用AI进行治疗决策，而加利福尼亚州通过了一项立法，要求聊天机器人开发者监测对话中自杀意念的迹象，以及其他安全措施。
【全文结束】
