宾夕法尼亚州国务院（Pennsylvania Department of State）已成立一个人工智能安全工作组，并上线了一个在线投诉表格，供居民举报那些提供不当医疗指导的人工智能聊天机器人。
这些举措是为了应对日益增长的担忧——在线AI生成的医疗和心理健康建议泛滥，且越来越多的证据显示，很少有人能分辨出AI建议与专业医疗人员建议之间的区别。
州长乔什·夏皮罗（Josh Shapiro）在一次聚焦保护学生免受AI危害的圆桌会议上讨论了这些措施。州官员表示，这些聊天机器人可能分享错误或未经充分研究的医疗建议，或声称自己是某种“专家”，从而造成实际伤害。
该新网站于2月夏皮罗发表2026-27预算演讲后上线。
“对于那些感到孤独或处境艰难的孩子来说，向这类应用寻求建议可能比向现实生活中的朋友、父母或老师更容易，”夏皮罗在预算演讲中说。
夏皮罗指出，30%的青少年表示每天使用AI聊天机器人，而目前缺乏足够的保障措施来确保这些机器人传递准确、有用且安全的信息。
“有些机器人会告诉用户他们是真正的医生，并给出医疗建议——我们甚至发现了一些自称持有宾夕法尼亚州行医执照的机器人，”他说。
去年10月州众议院提出的立法要求，任何由AI撰写的医疗建议都必须附带清晰醒目的免责声明，以及患者如何联系到人类医疗保健提供者的说明。
除透明度条款外，众议院第1925号法案还将为保险公司使用人工智能决定是否承保医疗程序设定限制。
该法案于去年12月在州议会举行了公开听证会，但尚未提交委员会投票。
在那次听证会上，消费者权益组织“公共公民”（Public Citizen）的大科技问责倡导者J.B. 布兰奇（J.B. Branch）表示，州立法者必须正视这一问题，因为几乎没有迹象表明联邦政府会采取实质性行动。
“因此，我们看到的是普遍的虚假信息、伤害儿童的算法、年轻女孩被推向厌食症、其他孩子被推向自杀——因为我们允许这些科技公司自我监管，”他说。“如果其他人不站出来，州议会就必须成为那个‘成年人’。”
关于AI聊天机器人危险性的研究
多项科学研究记录了AI撰写的医疗建议所伴随的危险。杜克大学（Duke University）上个月发布的研究显示，即使是出于善意的AI聊天机器人也可能产生不当的医疗指导。
研究人员分析了1.1万条患者与AI聊天机器人之间的健康相关对话数据集，发现许多大型语言模型（聊天机器人的核心技术）被设计成回答考试式问题，而非患者在实际中提出的那种真实、情绪化且可能误导性的问题。
另一个问题是，聊天机器人往往被设计成倾向于取悦提问者。
研究人员指出，在他们研究的一个案例中，患者询问如何在家中进行某项医疗操作。聊天机器人恰当地警告该操作只能由专业人员实施，但随后却给出了操作步骤的逐步描述。
加剧问题的是，在很多情况下，患者无法判断自己是在与AI聊天机器人还是真正的医生互动。牛津大学（Oxford University）的研究人员发现，当给予选择时，患者往往更偏好聊天机器人的建议而非专业医生的建议。
研究人员向300人提供了对医疗问题的回答，其中一些由专业医生撰写，另一些由AI聊天机器人撰写。
“参与者不仅认为这些低准确率的AI回复有效、可信且完整……而且还表示有很高的倾向遵循这些可能有害的医疗建议，”研究人员总结道。“这种有问题的反应，与他们面对医生回复时的反应相当，甚至更为强烈。”
【全文结束】