当使用人工智能技术评估症状描述时，若出现拼写错误等情况，往往会生成不正确的建议。
由美国麻省理工学院（MIT）的一个研究团队进行的调查显示，聊天机器人在处理带有拼写错误、多余空格或“不安全、戏剧性或非正式”表达的信息时，容易受到显著影响。研究人员认为，这一现象表明，在这些系统被用于医疗用途之前，需要对其进行更为严格的测试——但实际上这种应用已经在发生。研究表明，人工智能技术以一种此前未知的方式处理了非医学信息，并将其整合到生成的文本中。此外，相较于男性用户，这类系统的错误率更高。
拼写错误后更多错误建议
研究团队解释称，他们利用AI生成了数千条经过微调的患者信息消息，并让如GPT-4等常见聊天机器人对其进行评估。这些聊天机器人需判断患者是否应留在家中观察、需不需要前往医院，或者是否需要进行实验室检测。一旦在评估的消息中加入了某些错误（这些错误通常反映人们日常沟通中的特征），聊天机器人明显更倾向于建议患者自行处理问题——而这在许多情况下是错误的。
研究团队还注意到，聊天机器人较常建议女性患者居家自我护理，而男性患者则较少收到类似建议。团队警告称，如果仅检查所提供信息的准确性，可能会忽略一些“最糟糕的结果”，例如尽管症状严重却仍建议患者留在家中。虽然这类错误可能带来极其严重的后果，但反向错误（即不必要地建议患者就医）的影响较小。然而，在统计分析准确率时，这类反向错误可能导致其他问题被忽视。
研究团队指出，聊天机器人通常是通过和基于医疗检查相关的文本来训练和测试的，但在实际应用中，它们接触到的文本往往与此类内容大相径庭。这也是为何在医学领域中使用前，需要对其进行更加全面的测试的原因之一。该团队计划进一步研究AI如何处理特定人群使用的自然语言，同时还将探索技术如何从文本中推断性别。他们的研究已在线发布。
(全文结束)