如何正确评估AI技术？弗吉尼亚大学健康分析主管有答案

如何正确评估AI技术？弗吉尼亚大学健康分析主管有答案

Glenn Wasson，弗吉尼亚大学健康系统（UVA Health）的分析主管兼计算机科学博士，讨论了一种提供者与供应商之间的对话机制，该机制可以突出显示必须理解的风险来源，以便在企业内部治理AI。

许多专家认为，在医疗环境中，根据AI治理框架评估供应商的AI技术至关重要。供应商提供的工具必须安全、有效且合乎伦理，以提供所有患者的最佳结果。

作为治理结构的一部分，应该有一个有效的系统来理解和评估临床使用中AI系统的相关风险。这种方法定义了四个风险类别及一个评估每个类别的评分系统。这四个类别是：

1. 正确性和透明度

2. 公平性和公平性

3. 集成工作流程

4. 安全性和隐私保护

通过突出显示风险领域，医疗机构可以就使用哪些工具做出更明智的决策，而技术部署团队可以开发适合工具或工作流程的风险缓解措施。

UVA Health的分析主管Glenn Wasson表示，建立一个强大的治理框架来与供应商产品互动，将使医疗机构能够利用商业AI系统的优点，同时最小化风险并维持公众信任。他拥有计算机科学博士学位。

Wasson将在HIMSS25教育会议的一个专题讨论中详细阐述这个主题，题为“亲爱的AI供应商：这是我们所需要的”。

在UVA Health，Wasson负责监督健康系统如何整理和分析用于患者护理和研究的数据。他的职责包括数据操作、分析、数据科学和数据可视化。

在这个角色中，他从事从床边预测护理到人群风险建模再到解开医院排名算法的工作。他对如何创建解决问题的文化特别感兴趣。

我们采访了Wasson，以预览他在HIMSS25的会议。

问：医院和医疗系统需要了解AI工具与以前软件的不同之处是什么？

答： AI正在进入当今医疗企业的各个方面，为从诊断和治疗计划到计费和资源管理，再到研究和药物发现等各个领域的潜在改进打开了大门。

但AI系统也带来了以前几代软件中不存在的新风险。组织需要了解这些风险及其潜在影响和缓解措施，以有效治理其企业内部的AI。

了解AI系统的风险和益处是一个复杂的问题。提供者组织很少有足够的访问权限、带宽和/或人才来分析供应商代码。

相反，本次会议讨论了提供者组织和供应商之间的一种对话机制，该机制可以突出显示风险来源。这种对话将要求围绕数据、算法和工作流程增加透明度，但也可能帮助供应商增强提供者对其工具的信心。

问：您将在HIMSS25会议上重点关注AI的哪些方面？

答： 这次会议涉及人工智能，它有许多变体，生成式AI是最新的一种。在医疗保健领域，AI基于过去的人类经验分析证据的能力使其能够在许多不同场景中使用。

这些场景包括诊断预测和治疗选择、个性化医疗、员工排班、病床分配、供应链运营、远程监控、改善计费和编码、通过效率降低成本等。

在这次会议上，我们希望讨论AI的不同用例以及允许AI和人类协作进行决策的工作流程。我们将讨论如何理解这些决策产生的行动及其相关风险，从而建立对AI系统将安全和正确地提供所需支持的信心。

问：您希望HIMSS25的与会者在听完您的会议后，带着什么收获回到他们的组织并能应用到工作中？

答： 与会者将带着对AI系统评估新方面的理解离开，这些方面以前并未成为传统技术评估的一部分。我们将通过提供一种AI系统评估框架，即提供者和供应商之间的对话（一系列问题），来理解风险和缓解措施。

这些问题将考虑不同的风险来源——数据集、工作流程等——并将需要定性和定量的答案。

因此，这种对话不仅仅是AI专业人士之间的讨论——例如数据科学家或统计学家——还必须包括了解预期部署环境和工作流程的领导者和运营商。

最后，我们将讨论当今先进的AI系统的动态学习性质意味着这种对话必须是持续的。

(全文结束)