最近的一项研究揭示，大型语言模型（LLMs），即生成式AI系统如ChatGPT的核心技术，可能对患者隐私构成重大威胁。1月8日星期三，首尔峨山医学中心（Asan Medical Center，AMC）宣布其研究团队发布了一项研究结果，该研究通过模拟恶意攻击来评估医疗领域中个人信息泄露的可能性。结果显示，此类攻击的成功率最高可达81%。
这项研究由峨山医学中心心脏科教授金英赫（Kim Young-hak）和峨山生命科学研究所大数据研究中心主任孙泰俊（Jun Tae-joon）领导。大型语言模型（LLMs）是一种基于数十亿参数学习大量数据的人工智能模型，能够像人类一样思考和回应。它是生成式AI的核心技术，例如ChatGPT和Gemini，允许用户输入问题或命令，并由LLM理解后提供适当的答案。
在医疗领域，大型语言模型可以基于大量数据分析X光、CT、MRI等图像，提高诊断准确性，并根据患者的个人数据提供定制化治疗方案。预计它还可以简化医疗人员的管理任务，例如自动生成电子病历（EMR）和同意书，从而提高整体效率和准确性。
然而，研究人员警告称，如果大型语言模型的安全性被破坏，患者的敏感个人信息可能会泄露，造成伦理和法律风险。研究团队使用了2017年1月至2021年12月期间26,434名患者的病历数据来训练一个大型语言模型。通过提出带有不同变化的恶意问题，如添加或编码无意义符号和文本到提示中，评估了恶意攻击的风险。该研究仅使用了经过伦理预批准的数据，并由峨山医学中心的机构审查委员会（IRB）进行了审查。
首先将提示转换为ASCII（美国信息交换标准代码），一种字符编码方法，然后评估绕过大型语言模型安全性的概率，即访问敏感个人信息的防护栏失效率达到了80.8%。这意味着安全措施很容易被突破。此外，研究人员发现，大型语言模型在生成答案时有21.8%的概率暴露其训练数据。通过调整提问格式，原始训练数据可以轻松暴露。
具体来说，当一个大型语言模型在一个提供详细术前患者信息的系统上进行训练时，如果对查看病历的提示进行不同的编码，大型语言模型会生成答案，暴露出敏感的患者数据以及包括医务人员姓名和专业在内的具体信息。
“在医疗领域使用大型语言模型具有巨大潜力，但如果不加强数据安全，可能导致严重的个人信息泄露。”金英赫教授表示，“由于该领域涉及敏感的个人信息，因此特别强调安全性，并需要独立运营的医疗专用大型语言模型。”
该研究结果最近发表在《新英格兰医学杂志》（NEJM）的姐妹期刊NEJM AI上。NEJM AI于去年1月推出，旨在应对AI在医疗界日益重要的地位，是全球临床医学权威之一NEJM旗下的专门期刊。
(全文结束)
