患者与医疗专业人员之间的基本信任——即相信提供建议的人是有资质、负责任且关键的是人类——如今正被技术积极侵蚀。这种对机器冒充身份的日益担忧，迫使科技中心加利福尼亚州划出明确法律界限，禁止人工智能（AI）聊天机器人暗示自己是持证医疗提供者，例如医生或心理治疗师。
其影响令人震惊。由州长加文·纽瑟姆于10月13日正式签署成为法律的众议院第489号法案，明确规定AI开发者和公司不得使用可能误导用户相信自己正在与持证医疗专业人员互动的措辞、头衔或资质证明。
该立法出台之际，公众和政界日益担忧企业正将这些AI聊天机器人危险地营销为合法心理健康治疗的简单廉价替代品，有效规避了面对面诊疗所需的严格伦理与安全标准。
此前，加利福尼亚州总检察长罗布·邦塔在一月份发布了一份严厉的法律意见书。他明确表示：“只有人类医生（及其他医疗专业人员）才被允许在加利福尼亚州行医；加州法律不允许将行医权委托给AI”。
邦塔警告称，允许AI工具做出患者护理决策或覆盖持证医疗提供者的建议，不仅会伤害消费者，还违反公平商业惯例。在AI工具日益用于扩大医疗可及性的背景下，风险在于消费者难以区分机器生成的信息与真实的人类咨询。
ChatGPT疗法的狂野西部：虚假资质的危险
这些平台日益复杂化，导致有用支持与危险医疗建议之间的界限严重模糊。波士顿贝斯以色列女执事医疗中心精神病学系数字精神病学部主管、精神病学家约翰·托鲁斯博士指出了这种监管真空的危险。
“一切都在不断变化，因此很难下定论，”托鲁斯博士告诉《Medscape医学新闻》。“但确实存在担忧，某些AI聊天机器人正直接面向儿童和未成年人营销，且有直接证据表明某些聊天机器人会弹出虚假行医执照号码。”
这并非理论假设：《旧金山标准报》5月的一份报道称，一个Character.ai聊天机器人声称自己是持证治疗师，甚至提供了与执业心理健康专业人员关联的真实执照号码。该媒体还发现其他潜在问题角色扮演机器人在提供建议时使用“治疗师”或“医生”等限定词。
“这很疯狂，对吧？”托鲁斯博士说，“聊天机器人声称不提供医疗建议，但随后就开始给出建议。界限非常模糊。”他强调，尽管这些工具可能在护理领域发挥作用，但推动AI发展的“更快、更好、更强”心态是危险的，特别是在安全至上的心理健康领域，“风险实际最高”。远程医疗公司如莱拉健康（Lyra Health）正试图抢占先机，为其2000万会员推出“临床级”AI心理健康聊天机器人，承诺配备“可识别需立即升级情况的复杂风险标记系统”。
拼凑式监管难题：为何ChatGPT漏洞令监管机构担忧
然而，托鲁斯博士预计立法仅能部分解决问题，认为更大挑战在于执法。“如今存在的任何AI公司都不会声称提供精神病治疗——他们会说是健康或情感支持，”他解释道，“因此，如果聊天机器人在服务条款中免责声明医疗责任但仍提供看似临床的服务，它们会说这些新法律不适用于它们”。
这种模糊性在全国范围内制造了混乱且不均衡的监管环境。联邦贸易委员会（FTC）上月对包括Character.ai在内的七个陪伴聊天机器人安全性展开调查。ChatGPT背后的OpenAI公司（另一家接受FTC审查的企业）被迫发布声明概述其消费者保护措施。
首席执行官山姆·奥尔特曼在一篇博客中表示，该模型“不应提供关于如何自杀的指导，但如果成年用户请求帮助撰写描写自杀的虚构故事，模型应协助该请求”。OpenAI还因其AI驱动的语音识别工具Whisper中发现的“幻觉”（即不准确输出）受到审查，该工具被部分医疗系统使用。
全美监管的拼凑现象正在扩大。新泽西州已提议立法禁止AI冒充医疗专业人员，而犹他州和内华达州今年通过了类似措施。伊利诺伊州已禁止自主AI在无持证临床医生参与的情况下提供治疗或治疗决策。正如数字医学学会首席执行官詹妮弗·戈尔萨克所指出的，这种碎片化“给提供方带来了另一个拖累……在缺乏联邦立法的情况下”。
归根结底，核心问题是责任归属。亚利桑那大学生物医学信息学主任贾斯汀·斯塔伦问道：“如果你声称服务由人类提供，而实际由机器提供，这听起来已经是消费者欺诈”。他总结了这一伦理噩梦：人类行医必须证明其能力。如果AI提供导致伤害的错误建议，“谁负责？谁支付医疗事故赔偿金？”加利福尼亚州的新法律是一个有力回应，但显然，值得信赖的以人为本护理之战才刚刚开始。
当前AI医疗保健的状况是一个危险的无监管前沿，责任往往不存在。只要开发者能在提供类临床服务的同时躲在免责声明背后，脆弱用户——包括未成年人——就仍暴露在伤害之下。核心问题依然存在：如果机器给出错误建议，谁支付医疗事故赔偿金？
【全文结束】
