AI认为膝关节X光片能判断你是否喝啤酒和吃炖豆

一些人工智能模型在学习“相关性不等于因果关系”这一原则时遇到了困难。虽然这并不是放弃AI工具的理由，但最近的一项研究应该提醒程序员们，即使是可靠的技术版本也容易出现一些奇怪的结果——比如声称膝关节X光片可以证明某人喝啤酒或吃炖豆。

人工智能模型不仅能生成（有时准确的）文本响应和（某种程度上）逼真的视频。真正制作精良的工具已经在帮助医学研究人员解析大量数据集以发现新的突破，准确预测天气模式，并评估环境保护工作。然而，根据《科学报告》杂志上发表的一项研究，算法“捷径学习”继续成为一个问题，即生成的结果同时具有高度准确性但又误导性。

达特茅斯健康研究所的研究人员最近使用了由美国国立卫生研究院骨关节炎倡议提供的超过25,000张膝关节X光片训练医疗AI模型。然后，他们反向操作，让深度学习程序找到预测荒谬特征的共同点，例如哪些膝关节的所有者明显喝啤酒或吃炖豆——正如研究作者所解释的那样，这是明显荒谬的。

“这些模型并没有揭示膝盖中隐藏的关于豆类或啤酒的真相，”他们写道。

然而，团队解释说，这些预测并非“纯属偶然”。根本问题是所谓的算法捷径，即深度学习模型通过易于检测但仍然无关或误导性的模式找到联系。

“捷径使得创建具有惊人准确性的模型变得轻而易举，但这些模型缺乏所有表面效度，”他们警告道。

算法识别的变量包括与任务无关的因素，如X光机型号的差异或设备的地理位置。

“这些模型可以看到人类无法看到的模式，但它们识别的所有模式并不都有意义或可靠，”达特茅斯健康研究所骨科助理教授、研究资深作者彼得·席林博士在12月9日的一份声明中表示。“认识到这些风险至关重要，以防止得出误导性结论并确保科学的完整性。”

另一个持续存在的问题是，似乎没有简单的解决方法来应对AI捷径学习。周一的公告指出，试图解决这些偏见的努力仅“略有成功”。

“这不仅仅涉及种族或性别线索的偏见，”机器学习科学家、研究合著者布兰登·希尔说道。“我们发现算法甚至可以预测X光片拍摄的年份。它非常顽固；当你阻止它学习这些元素之一时，它会转而学习另一个之前忽略的元素。”

希尔表示，这些问题可能导致人类专家信任AI模型提出的“一些非常可疑的说法”。对席林、希尔及其同事而言，这意味着尽管预测性深度学习程序有其用途，但在用于医疗研究等情况下时，证据的严格性需要更高。希尔将与AI合作比作与外星生命形式打交道，同时试图将其拟人化。

“很容易陷入假设模型‘看到’的方式与我们相同这一陷阱，”他说。“最终它并不这样。它学会了解决给定任务的方法，但不一定像人那样。它没有我们通常理解的逻辑或推理能力。”

(全文结束)