开源AI在解决复杂医疗病例方面媲美顶级专有模型

Open-source AI matches top proprietary model in solving tough medical cases

人工智能可以通过多种方式改变医学，包括作为忙碌临床医生的可靠诊断助手。

在过去两年中，专有AI模型（也称为闭源模型）在解决需要复杂临床推理的难题方面表现出色。值得注意的是，这些闭源AI模型的表现超过了开源模型，因为开源模型的源代码公开且可以被任何人修改和调整。

开源AI赶上来了吗？

答案似乎是肯定的，至少对于一种名为Llama 3.1 405B的开源AI模型来说是这样。这项新研究由哈佛医学院的研究人员领导，并与哈佛附属的贝斯以色列女执事医疗中心和布里格姆妇女医院的临床医生合作进行，得到了NIH的资助。

研究结果于3月14日发表在《JAMA Health Forum》上，显示挑战者开源AI工具Llama 3.1 405B在性能上与领先的专有闭源模型GPT-4相当。研究人员比较了这两种模型在《新英格兰医学杂志》每周发布的92个诊断难题中的表现。

研究结果表明，开源AI工具变得越来越具有竞争力，可能为专有模型提供有价值的替代方案。

“据我们所知，这是首次有开源AI模型在如此具有挑战性的病例中与GPT-4的表现相匹配，”该研究的资深作者、哈佛医学院Blavatnik研究所生物医学信息学助理教授Arjun Manrai说。“Llama模型能够迅速赶上领先的专有模型，这真是令人震惊。患者、护理提供者和医院都将从这种竞争中受益。”

开源和闭源AI系统的优缺点

开源AI和闭源AI在几个重要方面有所不同。首先，开源模型可以在医院的私有计算机上下载和运行，从而将患者数据保留在内部。相比之下，闭源模型在外部服务器上运行，需要用户将私人数据传输到外部。

“对于许多首席信息官、医院管理员和医生来说，开源模型可能更具吸引力，因为数据离开医院去往另一个实体，即使是一个可信的实体，本质上也是不同的，”该研究的主要作者、哈佛医学院生物医学信息学系新设立的医学人工智能方向博士生Thomas Buckley说。

其次，医疗和IT专业人员可以调整开源模型以满足独特的临床和研究需求，而闭源工具通常更难定制。

“这一点至关重要，”Buckley说。“你可以使用本地数据对这些模型进行微调，无论是基本的方式还是复杂的方式，使其适应你自己的医生、研究人员和患者的需求。”

第三，像OpenAI和Google这样的闭源AI开发商会托管自己的模型并提供传统的客户服务，而开源模型则将模型设置和维护的责任放在用户身上。到目前为止，闭源模型更容易与电子健康记录和医院IT基础设施集成。

开源AI与闭源AI：解决具有挑战性的临床案例的得分卡

开源和闭源AI算法都在巨大的数据集上进行训练，这些数据集包括医学教科书、同行评审的研究、临床决策支持工具以及匿名的患者数据，如病例研究、测试结果、扫描和确诊诊断。通过超高速地审查这些海量材料，算法学习模式。例如，癌性和良性肿瘤在病理切片上的样子是什么？心力衰竭的最早征兆是什么？如何区分CT扫描上的正常结肠和发炎结肠？当面对一个新的临床场景时，AI模型会将传入的信息与它们在训练期间吸收的内容进行比较，并提出可能的诊断。

在他们的分析中，研究人员测试了Llama在70个之前用于评估GPT-4性能的《新英格兰医学杂志》中的具有挑战性的临床案例中的表现。这些案例在之前的一项由Adam Rodman（贝斯以色列女执事医疗中心哈佛医学院助理教授，也是新研究的共同作者）领导的研究中进行了描述。在这项新研究中，研究人员增加了22个在Llama训练期结束后发布的新案例，以防止Llama在基础训练期间无意中遇到这些70个已发布的案例。

开源模型展现了真正的深度：Llama在70%的案例中做出了正确的诊断，而GPT-4为64%。它还将正确选项作为其首要建议的比例为41%，而GPT-4为37%。对于22个较新的案例子集，开源模型得分更高，在73%的情况下做出了正确的判断，并在45%的情况下将其最终诊断列为首要建议。

“作为一名医生，我看到很多关于强大的大型语言模型的关注都集中在我们无法在本地运行的专有模型上，”Rodman说。“我们的研究表明，开源模型可能同样强大，为医生和医疗系统提供了更多的控制权，以便他们决定如何使用这些技术。”

根据2023年的一份报告，每年在美国有约795,000名患者因诊断错误而死亡或遭受永久性残疾。

除了对患者的直接伤害外，诊断错误和延误还会给医疗系统带来严重的财务负担。不准确或延迟的诊断可能导致不必要的检查、不当的治疗，甚至在某些情况下导致难以管理和费用更高的严重并发症。

“如果明智地使用并负责任地整合到当前的医疗基础设施中，AI工具可以成为忙碌临床医生的重要副驾，并作为可靠的诊断助手，提高诊断的准确性和速度，”Manrai说。“但仍然至关重要的是，医生要推动这些努力，确保AI为他们服务。”

(全文结束)