公共健康领域部署AI的真正挑战不是技术性的——而是伦理性的
源新闻来源:Business Day
语言:英语,所在国:尼日利亚
分类:AI与医疗健康
引言:进步的幻象
人工智能(AI)迅速成为医疗保健领域最有前景的工具之一,能够支持诊断成像、预测疾病爆发、辅助临床决策和实现移动健康干预。在医疗系统负担过重的国家,AI 以更少资源完成更多工作的潜力尤其令人兴奋。然而,随着研究人员和产品团队急于开发和部署这些 AI 工具,我们越来越面对一个令人不安的事实:真正的采用障碍并不是技术性的,而是伦理性的。在过去几年中,我一直在 AI、公共卫生和以人为本的研究的交叉点工作。我参与了评估移动健康技术的项目,探索了用户在数字应用中的行为,并与开发者和前线医护人员合作。几乎每个项目都重复着同一个模式:无论技术多么聪明或高效,如果它不能建立信任,就不会被使用。我们往往过于关注算法精度、模型调整和管道优化,却忽略了问:这个系统公平吗?可理解吗?包容吗?合乎伦理吗?医疗领域的 AI 不会因为糟糕的代码而失败,而是因为我们没有为信任而设计。
偏见是内置的
AI 中的偏见不是缺陷。它是人类系统的反映,在大规模上被放大。在医疗领域,这种偏见尤为危险,因为决策直接影响到诊断、治疗和结果。一个重大挑战在于用于训练健康 AI 系统的数据集缺乏多样性。如果一个模型主要基于西方人群的数据进行训练,那么它在尼日利亚、印度或南美农村的表现如何呢?答案往往是:表现不佳。在我们最近的一项研究中,我们评估了移动糖尿病应用程序,分析了不同人群的用户采纳行为和决策模式。我们观察到的结果很有启发性:那些假设了识字水平、智能手机行为甚至健康信念的应用程序往往无法引起真实用户的共鸣。技术本身并没有问题,而是视角有问题。它没有反映其目标用户的现实情况。当偏见被嵌入到数据中时,模型可能会强化现有的不平等,例如在皮肤病学中误诊深色皮肤,低估边缘化人群的风险,或者由于代表性不足而完全错过某些模式。在某些情况下,这会导致直接伤害。在其他情况下,它只是侵蚀了信任,尤其是在已经对制度化医疗持怀疑态度的社区中。解决办法不仅仅是“更多数据”,而是更好的数据、包容性实践以及在模型开发过程中有意识地决定谁的健康优先。
可解释性:黑箱问题
在医学中,信任不是可选项。当生命攸关时,患者及其医生有权知道为什么做出某个推荐。不幸的是,许多医疗领域的 AI 系统都是“黑箱”,提供高置信度的预测但没有人类可以理解的理由。对于数据科学家来说,这可能是性能和透明度之间的可接受权衡。但对于医生或患者来说,这是不可接受的。想象一下,你被告知你有患罕见疾病的高风险,但没有告诉你原因。或者因为你被 AI 系统标记为低优先级而被拒绝进行某种医疗程序,而这些变量是你看不见或无法理解的。在健康技术中,可解释性不仅是一个技术特性,而是一种道德义务。在设计 AI 系统时,我们必须不仅重视预测能力,还要重视可解释性。SHAP 值、LIME 和透明决策树等工具是朝着正确方向迈出的一步。更重要的是,我们必须设计出能够帮助人们理解输出结果的界面和沟通流程。在公共卫生背景下,特别是在资源匮乏的环境中,这意味着要考虑到识字水平、语言和当地健康知识。
前进的道路:在健康领域构建负责任的 AI
那么,我们如何超越空谈,开始构建真正负责任的 AI 系统呢?
首先,我们需要多样化的团队来设计这些系统,不仅是种族和文化上的多样性,还包括患者、护士、临床医生、公共卫生专家和伦理学家。如果桌上的每个人都是一名机器学习工程师,我们已经失去了视角。其次,我们必须在整个模型生命周期中建立可解释性。澄清决策是如何做出的工具应该像准确性指标一样经过严格的测试。第三,我们应该像对待技术审计一样认真对待伦理审查。独立伦理小组、透明度报告和社区咨询委员会可以帮助确保模型对其服务的人群负责。最后,在全球卫生背景下,我们必须与 AI 系统旨在帮助的社区共同创建这些系统。这意味着要与当地研究人员合作,使用参与式设计方法,并使模型适应当地的价值观和限制。
公共健康领域的 AI 不仅靠技术优势就能成功。它的成败取决于人们是否相信它、理解它,并认为它对他们生活有益。这不仅是一个设计挑战,也是一个道德挑战。我们必须超越仅仅以准确性作为唯一指标。我们必须问:这个模型公平吗?尊重吗?透明吗?如果答案是否定的,我们必须有勇气暂停并重新思考。因为医疗领域的 AI 未来并不在于更智能的机器,而在于通过设计实现尊严。
(全文结束)
声明:本文仅代表作者观点,不代表本站立场,全文内容涉及AI跨语种自动翻译。如有侵权请联系我们删除。