科学家对AI回答癌症相关问题的表现感到失望

科学家们表示，当人工智能（AI）回答患者关于癌症疾病的医疗信息查询时，并不总是能够给出正确的答案。在《欧洲癌症杂志》的一篇文章中，科学家们指出，“在准确性、引用质量和可读性方面仍然存在挑战。这些问题在非英语语言中尤为突出，其中幻觉现象仍然是一个令人担忧的问题。”

科学家们研究了七款领先的AI聊天机器人——ChatGPT、Google的Gemini、Microsoft的Co-Pilot、MetaAI、Claude、Grok和Perplexity，评估它们用英语、阿拉伯语、法语、中文、泰语、印地语、尼泊尔语和越南语回答常见癌症相关问题的能力。

随着数百万人转向AI聊天机器人寻求健康建议，确保这些工具提供准确、易懂且有可靠来源的信息至关重要。该研究可以被视为对AI公司的警钟，这些公司正逐渐在公共卫生保健中扮演越来越重要的角色。

沙迦大学药学院助理教授Ahmad Abuhelwa质疑：“人们能否信任这些回应？”他设想有人向AI聊天机器人寻求即时、易于理解且准确的答案。

为了回答这个问题，来自弗林德斯大学（澳大利亚）、麻省总医院/哈佛医学院（美国）、宋卡王子大学（泰国）和沙迦大学（阿联酋）的科学家们严格评估了生成式AI聊天机器人在多语言环境中提供癌症相关信息的准确性和可靠性。

“AI聊天机器人正在成为人们寻求癌症信息的重要工具。然而，我们的研究表明，我们必须提高其准确性，特别是在非英语语言中，以使其真正可靠，”来自澳大利亚弗林德斯大学的共同作者Ashley Hopkins补充道。

分析AI聊天机器人对简单癌症相关问题的回答，科学家们认识到需要提高多语言准确性、引用质量和可访问性及可读性。评估标准包括准确性、来源可靠性、可读性和医疗指导。

虽然研究发现英语回答相对可靠，没有重大错误，但非英语回答存在问题，如“294个回答中有7个包含错误，包括误译、药物名称错误和不当治疗建议。引用质量参差不齐，48%的回答有有效引用，而39%的英文引用来自.com链接，反映了质量问题。”Abuhelwa博士指出。

主要作者、同样来自弗林德斯大学的Bradley Menz强调，AI开发者在提供医疗信息时应公平对待多样化语言的受众。

“患者和护理人员越来越多地依赖AI获取医疗建议。我们的研究表明，迫切需要提高AI聊天机器人提供的信息质量，以确保安全和平等的医疗知识获取。”

许多用户认为来自.com链接的信息是可靠的，但作者认为这些链接往往不可靠，因为它们可能优先考虑商业利益而非准确性和科学证据。与政府（.gov）或学术（.edu）来源不同，.com网站不受严格的医学准确性标准约束。

作者赞扬了人工智能在改善医疗保健获取方面的潜力，但也呼吁谨慎，因为其在提供安全和基于证据的癌症信息方面的可靠性尚未完全值得信赖。

Abuhelwa博士说：“不正确的健康信息，尤其是在癌症背景下，可能会产生严重后果。我们的研究表明，尽管AI工具有很大进展，但我们必须确保它们提供清晰、准确且有可靠来源的健康信息。”

“我们的工作强调了AI监管和持续监控的必要性，以防止虚假健康信息造成潜在危害。这是对AI开发者的警钟——公开可用的AI工具必须达到最高标准，以确保其安全有效地服务公众，造福所有人。”

科学家们建议AI开发者进一步增强其多语言服务，确保全球患者获得正确的健康建议；使AI生成的回答更加用户友好；并与医疗专业人员更紧密合作，改进其工具。

Abuhelwa博士对研究结果持乐观态度，他认为这些发现具有“实际应用价值”，特别是在AI模型改进、医疗支持、患者教育和政策制定方面。

(全文结束)