医疗算法中的偏见是AI长期存在的问题。新指南能否激发行动？

AI 正越来越多地进入医疗决策领域，从诊断到治疗决策再到机器人手术。（Getty Images）

大家好，欢迎来到 Eye on AI。在今天的版本中……一项国际倡议旨在解决医疗AI算法中的偏见问题；欧洲隐私监管机构表示，使用互联网数据进行训练可能符合GDPR的要求——但这样做面临的障碍很高；地缘政治紧张局势阻碍了中国向美国的人才流动；Character.ai 因令人不安的内容再次受到批评；而AI初创公司则垄断了所有融资。

正如我在本通讯中多次提到的，AI 正席卷医疗行业——从药物发现到AI增强的乳房X光检查再到临床医疗文件的转录。

早在生成式AI热潮带来的幻觉和其他风险变得明显之前，我们就已经广泛证明了AI算法中的偏见问题，这些算法往往对某些群体（如女性和有色人种）的准确性较低。现在，随着AI公司和医疗服务提供者越来越多地将AI整合到患者护理中，评估和解决这些偏见的方法比以往任何时候都更加重要。

昨天，一个名为“STANDING Together（数据多样性、包容性和泛化标准）”的国际倡议发布了针对医疗AI技术中偏见问题的建议，希望“进一步推动AI健康技术的发展，使其不仅对大多数人安全，而且对所有人都安全。”这些建议发表在《柳叶刀数字健康》和《NEJM AI》上，同时还有一篇由该倡议的患者代表撰写的文章发表在《自然医学》上。这些建议基于涉及30多个机构和来自58个国家的350多名专家的研究。

问题

在讨论建议之前，让我们先回顾一下问题。

总体而言，用于检测疾病和伤害的算法在代表性不足的群体（如女性和有色人种）中表现较差。例如，使用算法检测皮肤癌的技术被发现对肤色较深的人群不那么准确，而一种肝病检测算法对女性的表现不佳。一项重磅研究揭示了一种在医院广泛使用的临床算法，该算法要求黑人患者病情更严重才能获得与白人患者相同的护理建议。类似的问题也出现在用于确定资源分配的算法中，例如残疾人可以接受多少帮助。这只是许多例子中的一小部分。

这些问题的原因通常在于用于训练AI算法的数据。这些数据本身往往不完整或扭曲——女性和有色人种在医学研究中历来代表性不足。在其他情况下，算法失败是因为它们是在用作某些其他信息代理的数据上进行训练的，但这些数据未能恰当地捕捉AI系统试图解决的问题。那个因使用医疗保健成本作为患者护理的代理而未能为黑人患者提供与白人患者相同水平护理的医院算法就是一个例子。事实证明，医院系统在各个护理级别上为黑人患者花费的医疗费用较少，这意味着AI未能准确预测黑人患者的需求。

建议的解决方案

该研究背后的集体提出了29项建议——其中18项针对数据集管理方，11项针对数据使用者。

对于数据集管理方，论文建议数据集文档应包括用简单语言编写的摘要，指出数据集中存在的群体，处理任何缺失的数据，识别已知或预期的偏见或错误来源，明确说明谁创建了数据集，谁资助了它，并详细说明应避免使用数据集的目的，以及其他增加透明度和提供上下文的步骤。

对于数据使用者，建议他们应识别并透明报告代表性不足的领域，评估特定群体的性能，承认已知的偏见和局限性（及其影响），并在AI健康技术的整个生命周期中管理不确定性和风险，包括每一步的文档记录。

总体主题包括主动询问和透明性的呼吁，以及对上下文和复杂性的敏感性。“如果在算法阶段无法避免偏见编码，其识别使与AI健康技术使用相关的利益相关者（开发人员、监管机构、卫生政策制定者和最终用户）能够承认并减轻偏见转化为危害的情况，”论文写道。

指南能否转化为行动？

就像AI的每一项新兴用途一样，潜在的好处、已知的风险和负责任的实施之间需要微妙的平衡。利害关系很高，尤其是在医疗护理方面。

这篇论文并不是第一个试图解决AI健康技术中偏见问题的论文，但它是最全面的之一，且发布在一个关键时刻。作者写道，这些建议不是为了成为一个清单，而是为了促进主动的调查。但说实话：只有通过监管才能确保这些教训得到应用。

更多AI新闻，请关注 Sage Lazzaro

sage.lazzaro@consultant.fortune.com

sagelazzaro.com

该故事最初发表于 Fortune.com

(全文结束)