独特的AI通过结合医学图像和文本预测癌症预后和治疗反应

将视觉信息（如显微镜和X光图像、CT和MRI扫描）与文本（如检查笔记和不同专科医生之间的通信）相结合是癌症护理的关键组成部分。尽管人工智能帮助医生审查图像并聚焦于疾病相关异常（如形状异常的细胞），但开发能够整合多种类型数据的计算机模型一直是一个难题。

现在，斯坦福大学医学院的研究人员开发了一种能够整合视觉和基于语言的信息的AI模型。经过对5000万张标准病理切片图像和超过10亿条病理相关文本的训练，该模型在预测数千名患有不同类型癌症的人的预后方面超过了传统方法，能够识别哪些肺或胃食管癌患者可能从免疫疗法中获益，并确定最有可能复发的黑色素瘤患者。

研究人员将该模型命名为MUSK，即具有统一掩码建模的多模态变换器。MUSK代表了目前临床环境中使用人工智能方式的重大偏离，研究人员认为它有望改变人工智能如何指导患者护理的方式。“MUSK可以准确预测许多不同种类和阶段癌症患者的预后，”放射肿瘤学副教授李睿江博士说。

“我们设计MUSK是因为在临床实践中，医生从不依赖单一类型的数据来做临床决策。我们希望利用多种类型的数据来获得更多见解，并对患者结果做出更精确的预测。”李博士是斯坦福癌症研究所的成员，也是发表在《自然》杂志上的这项研究的资深作者。博士后学者向锦曦和王西悦是该研究的主要作者。

虽然人工智能工具在临床上的应用越来越广泛，但主要是用于诊断（这幅显微镜图像或扫描是否显示癌症迹象？）而不是预后（这个人可能的临床结果是什么？哪种疗法对个体最有效？）。其中一部分挑战在于需要大量标注数据（例如，这是带有癌性肿瘤的肺组织切片的显微镜幻灯片）和配对数据（这里是有关获得肿瘤患者的临床笔记）。然而，精心策划和注释的数据集很难获得。

在人工智能术语中，MUSK被称为基础模型。基础模型预先训练在大量数据上，可以通过额外的训练进行定制以执行特定任务。由于研究人员设计了MUSK以使用不符合传统人工智能培训要求的未配对多模态数据，因此计算机在初始培训期间可以使用的“学习”数据池扩大了几个数量级。

有了这一优势，任何后续的培训都可以通过更小、更专业的数据集来实现。实际上，MUSK是一种现成的工具，医生可以根据需要进行微调以帮助回答特定的临床问题。“最大的未满足临床需求是医生可以用来指导患者治疗的模型，”李博士说。“这个患者需要这种药物吗？还是我们应该专注于另一种类型的治疗？目前，医生使用诸如疾病分期和特定基因或蛋白质等信息来做这些决定，但这并不总是准确的。”

研究人员从国家数据库The Cancer Genome Atlas收集了16种主要癌症（包括乳腺癌、肺癌、结直肠癌、胰腺癌、肾癌、膀胱癌、头颈癌）患者的组织切片显微镜幻灯片、相关的病理报告和随访数据（包括患者的病情进展）。他们利用这些信息训练MUSK预测疾病特异性生存率，即在特定时间段内未因特定疾病死亡的人的比例。

对于所有类型的癌症，MUSK在75%的情况下准确预测了患者的疾病特异性生存率。相比之下，基于癌症分期和其他临床风险因素的传统预测方法在64%的情况下是正确的。

在另一个例子中，研究人员训练MUSK使用数千个信息点预测哪些患有肺癌或胃食管癌的患者最有可能从免疫疗法中受益。“目前，决定是否给患者某种免疫疗法的主要依据是该患者的肿瘤是否表达一种称为PD-L1的蛋白质，”李博士说。“这是一种仅由一种蛋白质组成的生物标志物。相比之下，如果我们能使用人工智能评估数百或数千个多类型的数据，包括组织成像，以及来自临床笔记的患者人口统计学、病史、既往治疗和实验室测试，我们可以更准确地确定谁可能受益。”

对于非小细胞肺癌，MUSK正确识别了约77%的受益于免疫疗法治疗的患者。相比之下，基于PD-L1表达的传统预测方法只有约61%的时间是正确的。

当研究人员训练MUSK识别哪些黑色素瘤患者在初次治疗后的五年内最有可能复发时，也获得了类似的结果。在这种情况下，该模型正确率为83%，比其他基础模型生成的预测高出约12%。

“MUSK的独特之处在于能够在预训练中整合未配对的多模态数据，这大大增加了与其他模型所需的配对数据相比的数据规模，”李博士说。“我们观察到，在所有临床预测任务中，整合多种类型数据的模型始终优于仅基于影像或文本数据的模型。利用这些类型的未配对多模态数据与像MUSK这样的人工智能模型将极大地提高人工智能辅助医生改善患者护理的能力。”

(全文结束)