AI模型是否会受到医学文献中“修饰”的影响？

医学文献在临床决策中起着至关重要的作用，但许多研究表明，科学摘要中经常含有“修饰”——一种夸大治疗益处同时淡化局限性的语言。这种情况的发生是因为学术出版激励机制倾向于积极的结果，这可能会对临床医生和研究人员产生影响。最近的一项研究《LLMs是否会受到医学文献中“修饰”的影响？》由Hye Sun Yun、Karen Y.C. Zhang、Ramez Kouzy、Iain J. Marshall、Junyi Jessy Li和Byron C. Wallace发表在《机器学习研究进展》上，调查了大型语言模型（LLMs）对医学摘要中“修饰”的敏感性，以及它们是否无意中传播了误导性结论。

医学文献中的“修饰”挑战

医学文献在临床决策中起着至关重要的作用，但许多研究表明，科学摘要中经常含有“修饰”——一种夸大治疗益处同时淡化局限性的语言。这种情况的发生是因为学术出版激励机制倾向于积极的结果，这可能会对临床医生和研究人员产生影响。该研究考察了广泛用于总结和解释医学研究的LLMs是否同样受到“修饰”的影响，如果是的话，它们在生成通俗易懂的医学研究摘要时是否会传播这种偏见。

研究人员分析了22种不同的LLMs，从通用AI模型如GPT-4到专门的生物医学AI系统。他们评估了这些模型如何解释带“修饰”和不带“修饰”的随机对照试验（RCT）摘要，评估其识别误导性措辞的能力及其对生成响应的影响。研究表明，尽管当明确提示时，LLMs可以识别“修饰”，但它们比人类专家更容易受到影响，经常生成反映带“修饰”摘要中偏差的输出。

AI解释与“修饰”的传播

研究的一个核心方面是测试LLMs是否会在摘要包含“修饰”时对同一临床试验作出不同的解释。结果表明，LLMs系统地将带“修饰”的摘要评为显示出更显著的治疗益处，有时甚至夸大了干预措施的有效性。即使模型正确识别了“修饰”，其最终解释往往仍受误导性语言的影响。

此外，当任务是将医学摘要简化为面向公众的简明摘要时，许多LLMs无意中将其输出嵌入了“修饰”，使误导性解释更容易被普通大众接受。这对AI在患者教育和临床决策支持工具中的作用具有关键意义，因为错误信息可能会无意中影响医疗决策。

减轻AI对“修饰”的脆弱性

该研究探讨了多种减轻AI对“修饰”敏感性的策略。一种方法是在提示模型解释其发现之前，明确标记摘要是否包含“修饰”。这种干预导致了更为谨慎和中立的AI生成摘要。另一种有效策略是结构化提示，即先要求LLMs检测“修饰”，然后再评估研究结论。这种方法显著减少了AI生成响应中的偏差，表明结构化推理任务有助于LLMs更客观地处理医学文献。

这些发现强调了在高风险领域如医学中，稳健的AI提示工程和负责任的部署的重要性。确保AI模型经过精心策划的数据集训练，并改进人机交互协议，可以帮助防止误导性医学信息的传播。

AI在医学研究解释中的未来

尽管LLMs有潜力增强医学知识的传播，但本研究突显了它们在处理复杂科学数据时的局限性。随着AI在医疗保健领域的应用不断增加，开发人员、研究人员和政策制定者必须优先考虑透明度、偏差缓解和负责任的AI培训，以防止无意中放大误导性信息。

最终，该研究得出结论，虽然AI可以协助医学文献分析，但不应盲目信任其输出，而不进行人工监督。通过持续的研究和AI鲁棒性的改进，未来的LLMs可能会实现更可靠的解释，使其成为医疗专业人员和公众更安全、更有效的工具。

(全文结束)