人工智能在医疗领域的潜在风险

研究人员建议，如果人工智能（AI）模型的开发更侧重于准确预测结果而非治疗，可能会导致患者受到伤害。

专家警告说，当这些技术基于没有考虑人口统计学特征或某些医疗条件的不足治疗的历史数据进行训练时，可能会生成“自我实现的预言”。

他们补充说，这些发现强调了将“人类推理”应用于AI决策中的“内在重要性”。

荷兰的学者们研究了结果预测模型（OPMs），这些模型使用患者的个体特征（如健康史和生活方式信息）来帮助医生权衡治疗的风险和收益。

AI可以实时执行这些任务，以进一步支持临床决策。

然后，研究团队创建了数学情景来测试AI可能如何危害患者健康，并指出这些模型“可能导致伤害”。

“许多人认为，通过预测患者特定的结果，这些模型有潜力为治疗决策提供信息，并且它们经常被赞誉为个性化、数据驱动的医疗保健工具，”研究人员说。

“然而，我们表明，即使在部署后这些模型表现出良好的区分能力，使用预测模型进行决策也可能导致伤害。”

“这些模型是有害的自我实现预言：它们的部署会伤害一群患者，但这些患者的糟糕结果并不会降低模型的区分能力。”

发表在数据科学期刊《Patterns》上的文章还建议，AI模型的开发“需要将其主要关注点从预测性能转移到治疗政策和患者结果的变化上”。

对研究中概述的风险做出反应，赫特福德大学计算机科学系的首席讲师凯瑟琳·梅农博士说：“当AI模型基于历史数据进行训练时，这种情况就会发生，而这些数据不一定考虑到历史上某些医疗条件或人口统计学特征的不足治疗。”

“这些模型将准确地预测这些人口统计学特征的患者的不良结果。”

“如果医生因为相关的治疗风险和AI预测的不良结果而决定不治疗这些患者，这就会产生‘自我实现的预言’。”

“更糟糕的是，这会延续同样的历史性错误：对这些患者的不足治疗意味着他们将继续有较差的结果。”

“因此，使用这些AI模型有可能使历史上在医疗环境中因种族、性别或教育背景等因素而受到歧视的患者的结局恶化。”

“这表明了在上下文中评估AI决策并应用人类推理和评估的重要性。”

目前，英格兰国民保健服务（NHS）使用AI来帮助临床医生阅读X光片和CT扫描，以节省员工时间，并加快中风诊断的速度。

今年1月，英国首相基尔·斯塔默爵士承诺，英国将成为“AI超级大国”，并表示该技术可用于解决NHS等待名单问题。

爱丁堡大学生物医学信息学教授伊恩·辛普森强调，AI OPMs“目前在NHS中并不广泛使用”。

“在这里，它们通常与现有的临床管理政策并行使用，通常是用于辅助诊断和/或加速图像分割等过程，”他说。

爱丁堡大学外科和数据科学教授、医学信息中心联合主任埃文·哈里森说：“虽然这些工具有望提供更准确和个性化的护理，但这项研究强调了许多令人担忧的缺点之一：预测本身可能会无意中通过影响治疗决策来伤害患者。”

“假设一家医院引入了一种新的AI工具来估计哪些人可能在膝关节置换手术后恢复不佳。该工具使用年龄、体重、现有健康问题和身体状况等特征。”

“最初，医生打算用这个工具来决定哪些患者可以从强化康复治疗中受益。”

“然而，由于资源有限和成本问题，最终决定将强化康复主要保留给那些预测结果最好的患者。”

“被算法标记为‘预测恢复不良’的患者获得的关注较少，理疗次数较少，整体鼓励也较少。”

他补充说，这会导致一些患者的恢复速度变慢，疼痛增加，行动能力下降。

“这些都是影响英国AI发展的实际问题，”哈里森教授说。

(全文结束)