信任与透明度在人工智能中的悖论

经过数十年的研究，人工智能已经成为一种有用的工具，并被整合到我们个人和职业生活的各个方面。随着我们转向一个更多依赖于人工智能提供的知识、指导和决策支持的世界，关于其效能、效率和安全性的疑问也随之而来。

在使用人工智能时，一个核心问题是信任。我们是否可以信任人工智能来准备我们的税务申报？又或者驾驶汽车？当有人类参与时，我们可以询问他们的培训、经验和业绩记录来建立信任。我们信任当地用了多年的汽车修理工，因为他们是由他人推荐的，有良好的在线评价，而且我们的体验也很好。但是，我们如何建立对人工智能及其商业实体的信任呢？

在医疗领域，对人工智能的信任尤为重要，因为这里的决策关系到生死。我们将以医疗人工智能为例，来说明信任和透明度在人工智能工具中的悖论关系。

临床环境中使用人工智能的机会与挑战

任何医疗系统的主要目标都是确保患者的安全和健康。人工智能有潜力通过识别高风险患者、提升患者体验和提高临床医生的效率来改善患者护理。目前已有许多内部开发和商业的人工智能解决方案在临床实践中使用。事实上，美国食品药品监督管理局（FDA）已经批准了超过1000种用于临床的人工智能算法和软件。

一些具体的应用包括使用人工智能作为环境记录员，监听患者就诊并做笔记，从而让临床医生能够直接与患者互动。人工智能还被用来构建聊天机器人，帮助患者理解医学问题并简化进入诊所的流程。其他应用还包括风险预测，可以提醒临床医生注意可能对药物反应不良或手术并发症敏感的患者。毫无疑问，人工智能正在渗透到患者护理的每一个方面。

尽管在临床中部署人工智能有很多潜在的好处，但也存在许多担忧。一个主要的担忧是人工智能将独立于临床医生做出临床决策。这种担忧基于当前人工智能的局限性，包括我们在大型语言模型如OpenAI的ChatGPT中看到的幻觉现象，以及临床数据中固有的偏见，这些偏见必须被意识到并加以处理，以确保其建议公平并平等地对待所有患者。

因此，地方和国家政策及法律正在起草、辩论和通过，以确保人工智能的安全性和有效性。这是人工智能开发者需要解决的问题。但采用人工智能的组织又该如何应对呢？

临床环境中人工智能的评估与部署并不容易

在医疗领域，任何人工智能解决方案的评估和部署都需要一个组织在明确临床需求后彻底评估其有效性和安全性。这个过程可能涉及设置一个影子系统，该系统可以访问真实患者的资料，以查看如果该系统在临床实践中使用会表现如何。然后可以直接比较患者的结局和安全性与非人工智能临床决策的结果。

一旦全面评估完成，就可以部署人工智能。部署同样具有挑战性，因为它需要得到使用它的临床医生的支持。需要解决的重要问题包括从信息技术（IT）角度来看的可行性以及在已经繁忙的临床工作流程中使用的效率。一个低效的系统可能会导致警报疲劳，从而导致临床医生忽视人工智能的建议。

建立临床医生对人工智能的信任

也许最重要的考虑因素是对人工智能解决方案的临床信任。临床医生通常基于信任基础互相分享建议和意见。信任来自于知道提供建议的人受过良好训练、经验丰富并且有提供有用和准确建议的良好记录。

临床医生如何建立对人工智能的信任？信任一台计算机算法意味着理解它是如何工作的以及它为什么做出某些决策。这只能通过对内部开发的人工智能底层代码进行检查来实现，其中开发人员是在内部的。然而，商业实体将其计算机代码和算法作为知识产权保护。这对于建立业务并在同一领域的其他人工智能公司中竞争是必要的。但这可能是建立临床医生所需信任的重大障碍，以便支持部署和日常使用。

前进的道路：平衡透明度和专有利益

对商业人工智能的临床信任是一个悖论。一方面，我们需要商业实体投资于人工智能创新并保护这一创新，以吸引投资者并在竞争激烈的市场中生存。另一方面，临床医生和医疗系统需要访问源代码、数据和训练人工智能的方法，以在常规患者护理中使用之前完全信任其功能。

解决这个问题的一种方法是商业实体与其医疗客户签订法律协议，允许他们在审查过程中访问源代码和方法。这类协议通常也会反向制定，允许商业实体访问他们训练算法所需的临床数据。

共享数据对医疗系统来说并非没有风险，考虑到患者隐私问题；共享代码对商业实体来说也不是没有风险。互惠的信任和透明度似乎符合双方的最佳利益，以实现改善患者结局和医疗体验的目标。这是一个可以扩展到临床环境之外的人工智能采纳模式。

(全文结束)