临床AI工具在USMLE考试中超越大多数医生

纽约州立大学布法罗分校生物医学信息学研究人员开发的一种强大的临床人工智能工具在所有三个部分的美国医学执照考试（Step exams）中表现出卓越的准确性，根据4月22日在《JAMA Network Open》上发表的一篇论文。

该工具名为“语义临床人工智能”（SCAI，发音为“Skya”），在USMLE考试中的得分超过了大多数医生和迄今为止的所有其他AI工具。彼得·L·埃尔金博士是该论文的主要作者，他同时也是布法罗分校雅各布斯医学院和生物医学科学学院生物医学信息学系的教授兼主任，以及UBMD内科的医生。

埃尔金表示，SCAI是目前最准确的临床AI工具，其最新版本在USMLE第三步考试中得分为95.2%，而GPT4 Omni工具在同一测试中的得分为90.5%。

“作为医生，我们已经习惯了使用计算机作为工具，”埃尔金解释说，“但SCAI不同，它可以根据自己的推理来增强你的决策和思考。”

该工具可以回答临床医生或公众提出的医疗问题，网址为https://halsted.compbio.buffalo.edu/chat/。

研究人员对这一模型进行了测试，测试内容包括全国范围内要求医生通过的USMLE考试，该考试评估医生应用知识、概念和原则的能力，以及展示基本的以患者为中心的技能。任何包含视觉成分的问题都被排除在外。

埃尔金解释说，大多数AI工具通过使用统计方法在线数据中找到关联来回答问题。“我们称这些工具为生成式人工智能，”他说，“有些人认为它们只是在抄袭网上的内容，因为它们给出的答案是别人写过的。”然而，这些AI模型现在正在成为护理伙伴，而不仅仅是供临床医生使用的简单工具。

“但SCAI能够回答更复杂的问题并进行更复杂的语义推理，”他说，“我们创建了知识源，这些知识源可以像人们在医学院学习时那样进行推理。”

研究团队从他们之前开发的自然语言处理软件开始，添加了大量来自广泛来源的权威临床信息，包括最近的医学文献、临床指南、基因组数据、药物信息、出院建议、患者安全数据等。任何可能带有偏见的数据，如临床笔记，都没有被包括在内。

SCAI包含1300万个医学事实，以及这些事实之间所有可能的相互作用。研究团队使用基本的临床事实，即语义三元组（主体-关系-客体，例如“青霉素治疗肺炎链球菌性肺炎”）来创建语义网络。该工具可以表示这些语义网络，从而可以从其中推导出逻辑结论。

“我们教会了大型语言模型如何使用语义推理，”埃尔金说。

其他技术还包括知识图谱，设计用于在医疗数据中发现新的链接以及以前“隐藏”的模式，以及检索增强生成，使大型语言模型能够在响应提示之前访问并整合外部知识数据库的信息。这减少了“编造”，即AI工具在没有足够信息的情况下总是回应提示的倾向。

埃尔金补充说，使用形式语义来告知大型语言模型提供了重要的上下文，使SCAI能够更准确地理解和回应特定问题。

“SCAI不同于其他大型语言模型，因为它可以与你进行对话，并作为一个人机合作的伙伴，基于自己的推理来增强你的决策和思考，”埃尔金说。

他总结道：“通过向大型语言模型添加语义，我们赋予了它们类似于我们在实践循证医学时所用的推理能力。”

由于它可以访问大量的数据，SCAI还有潜力提高患者安全、改善医疗服务获取，并“普及专科护理”，埃尔金说，通过使初级保健提供者甚至患者能够获得关于专科和亚专科的医疗信息。

尽管SCAI的强大功能令人印象深刻，但埃尔金强调其角色将是辅助而不是取代医生。

“人工智能不会取代医生，”他说，“但使用AI的医生可能会取代不使用AI的医生。”

除了埃尔金之外，来自生物医学信息学系的合著者还包括Guresh Mehta、Frank LeHouillier、Melissa Resnick博士、Crystal Tomlin博士、Skyler Resendez博士和Jiaxing Liu。罗斯威尔帕克综合癌症中心的Sarah Mullin博士以及退伍军人事务部的Jonathan R. Nebeker博士和Steven H. Brown博士也是合著者。

这项工作得到了国立卫生研究院和退伍军人事务部的资助。

(全文结束)