诈骗者正在利用AI生成的医生视频推销膳食补充剂和有害的健康建议。健康专家担心，这些欺诈性广告可能会导致人们停止服用药物。
简述
健康专业人士正被深度伪造视频冒充，推销用于治疗2型糖尿病的膳食补充剂。健康专家担心这些虚假广告可能会导致人们停止服用药物。
后续措施
面部识别技术正在试验中，以识别潜在的欺诈性AI生成内容。在此期间，人们在浏览时被警告要更加警惕。
事件详情
一位领先的糖尿病专家被迫向患者保证他们正在服用正确的药物，因为患者看到了一段AI生成的视频，他在视频中称开这种药的人是“白痴”。墨尔本贝克心脏和糖尿病研究所副所长乔纳森·肖教授在患者开始打电话到他的诊所询问他们在Facebook上看到他推广的新治疗方法后，注意到了这段视频。
“我点击了链接，当然，看起来确实像我，但所有的话都被改了，”肖教授说。“我当时立刻想到了那些可能信任我说话的人，现在却听到了我永远不会提供的信息。”
在这段假广告中，AI被用来创建高度逼真但虚假的早间电视节目主持人卡尔·斯特凡诺维奇和肖教授的形象。这段视频已被Facebook母公司Meta移除，在视频中，一个假的卡尔·斯特凡诺维奇介绍了假的肖教授，后者称二甲双胍（一种治疗2型糖尿病的一线药物）“不足以有效管理糖尿病”。肖教授随后介绍了一种新的治疗方法，声称该方法可以在24小时内“稳定血糖水平”，并“解决糖尿病的其他症状”。
该视频推销的产品是一种名为Glyco Balance的膳食补充剂，含有肉桂棒、黄连莓和苦瓜。目前尚不清楚生产该补充剂的公司Vellec Group是否负责制作这段视频。当肖教授点击假广告时，他被带到了一篇他从未接受过的ABC记者莉·塞尔的采访记录。
越发复杂的骗局
近年来，随着生成式AI的进步，使用名人和其他公众人物身份的虚假广告骗局显著增加。今年早些时候，一段深度伪造的视频显示卡尔·克鲁塞利尼基博士在数百个在Facebook和Instagram上发布的广告中推荐降压药。
IDCARE（全国反诈骗慈善机构）的外展和教育经理凯西·桑德斯特罗姆表示，涉及AI生成视频和音频的骗局已经成为“新常态”。“在过去一年里，这肯定是史上最糟糕的情况，”桑德斯特罗姆女士说。“随着每个人拥抱ChatGPT和其他AI平台，罪犯也是如此。这使他们的工作变得更加容易……而且使用深度伪造技术使骗局看起来更加可信。”
创造可信度的假象
在虚假广告中使用健康专业人士也创造了一种可信度的假象，这种假象通常通过一系列其他欺诈性AI生成内容得到放大。在Glyco Balance的案例中，肖教授的深度伪造似乎只是协调在线骗局的一部分。
保护自己免受骗局的提示
网络搜索该膳食补充剂会显示大量赞助网站和YouTube视频，其中包含看似AI生成的客户评论和证词。它还会显示一个链接到ResearchGate的链接，这是一个科学家跟踪其出版物的存储库网站。一篇题为“Glyco Balance澳大利亚评论——这种血糖配方有效吗？阅读这篇文章！”的文章发布在该网站上，作者是斯坦福大学的研究员“理查德·乔治博士”。但斯坦福大学确认其教职员工或员工中没有理查德·乔治博士。根据ResearchGate的规定，不允许使用假名发表文章或宣传产品。ABC联系了ResearchGate关于这篇文章和研究者个人资料，但未收到回复。
该文章包括客户评论和购买产品的链接。同样，Glyco Balance网站声称该产品是由包括美国医师艾伦·加比在内的医生开发的，后者专攻营养学。ABC联系了加比博士，他确认他与该产品没有任何关系。
糖尿病患者被骗
新南威尔士州北部的迈克尔（只愿意透露名字）第一次听说Glyco Balance是在Facebook上。这位79岁的老人在10年前被诊断出患有糖尿病，他在开始出现新症状后决定点击链接。
“我点击了‘阅读更多’标签，背后是一段与诺曼·斯万博士的长时间访谈。有很多页面详细描述了该产品与牛津大学和阿斯利康合作开发的过程，这些都是知名的名字。”迈克尔注意到有一个限时优惠——三瓶的价格买五瓶——于是决定尝试一下这种补充剂。但他几乎立即后悔了这个决定。“我回去读了一些评论……人们说，‘我吃了一片药就感觉好多了，’”他说。“拜托……你不会吃一片药就感觉好起来的。”不久之后，迈克尔要求退还他花费的340美元。
应对未经证实的健康声明
Glyco Balance补充剂据称含有“天然提取物和必需维生素”，旨在“支持健康的血糖水平和脂质谱”。但在管理2型糖尿病方面，只有少数膳食补充剂有微弱的证据表明可能有益，健康当局强调不应以未经证实的健康产品替代医学治疗。虚假广告还声称Glyco Balance已获得澳大利亚治疗用品管理局（TGA）的批准。然而，该产品并未列入澳大利亚治疗用品注册簿，也未经过TGA的质量、安全或功效评估。
TGA的一位发言人表示，监管机构已经意识到这一问题以及其他涉及健康专业人士和名人代言健康产品的案件，并正在“评估情况”。“我们关注澳大利亚人访问未经批准的治疗产品或有关这些产品的信息的健康和安全，”发言人说。“消费者需要意识到，对于那些未获准在澳大利亚供应的治疗产品（如互联网购买的产品），其安全性和质量没有保证。”
在澳大利亚，医疗从业者和医学研究人员被禁止为治疗产品做代言或提供证词。肖教授表示，虚假代言骗局有可能给处于中心位置的健康专业人士带来棘手的法律问题。“我们有各种各样的规定，似乎运作得很好……然后突然发生这种情况，所有这一切都化为乌有，”他说。他还补充说，健康专业人士被AI冒充或声音克隆的风险已经阻止一些人出现在媒体或参与在线活动。
处理医生深度伪造的责任归属
Meta于11月29日移除了假肖教授的视频，距离贝克研究所报告此事已有九天。该研究所表示，直到它提交了一份单独的知识产权侵权投诉后，视频才被移除。“Meta不希望我们的平台上出现骗局，我们将继续投资工具和技术来防止它们，”公司发言人说。在4月至5月的试点项目期间，Meta移除了超过8000个使用公众人物面孔的AI生成骗局。该公司还在测试面部识别技术，以打击使用名人推销产品的骗子。但目前，这项技术仅限于50000名选择加入该计划的特定公众人物。与此同时，更多的医疗专业人士成为目标。“我知道其他非常著名的糖尿病专家也遭遇了同样的事情，”肖教授说。TGA的一位发言人表示，监管机构与包括Meta在内的多个数字平台密切合作，以遏制和处理非法广告。2023-24年，TGA要求从各个数字平台移除了超过4800个非法广告。桑德斯特罗姆女士表示，科技公司和监管机构面临的一个关键挑战是大量欺诈材料的产生及其快速的发展速度。她将这种情况描述为“打地鼠”，新广告往往在其他广告被移除后立即出现。“当我们查看[在线内容]，无论是视频还是Facebook帖子……我们需要默认持怀疑态度，仔细检查是否有道理，”她说。“这意味着在互动之前多花五分钟。这很累，但非常重要。”
(全文结束)
