人工智能正在重塑家庭护理，但大多数工人并不知情

人工智能已经在家庭医疗保健中得到应用——然而大多数家庭护理工作人员对此毫不知情。

康奈尔科技学院的一项新研究表明，个人护理助理、家庭健康助理和认证护理助理通常不知道人工智能系统在他们的排班和工作量决策中发挥了作用。该研究结果引发了对在医疗保健环境中越来越多使用算法工具的透明度、公平性和偏见的担忧。

这项研究将在4月26日至5月1日在日本横滨举行的计算机协会人机交互会议（CHI '25）上进行展示。

工人们对AI在其工作中所起的作用不知情

研究人员采访了22名前线工作人员、机构人员和劳工倡导者。虽然机构人员承认人工智能在提高效率方面的作用，但大多数直接护理人员并不知道这些系统已经在塑造他们的日常工作。

例如，许多机构现在使用算法化的班次匹配系统来根据可用性、资格和患者需求分配家庭护理工作人员。这些系统是一种人工智能——但工作人员很少知道这一点。

“我们发现了一个显著的知识差距，”首席研究员、康奈尔科技学院博士生伊恩·雷内·索拉诺-卡马伊科说。“大多数前线工作人员都不知道人工智能已经被使用。”

AI工具可能复制偏见

这种缺乏意识有严重的后果。该研究强调了人工智能工具可能复制现有职场偏见的风险。包括班次匹配器在内的算法决策系统可能会无意中使女性、有色人种、移民和其他边缘群体处于不利地位——这些人群在家庭护理劳动力中占主导地位。

即使是机构人员，他们对人工智能的角色有更多的了解，也往往在不了解这些工具如何工作或评估它们是否公平运作的情况下就信任这些工具。

“大多数人认为这些系统是可信的，仅仅因为它们运行高效，”索拉诺-卡马伊科说。

呼吁包容性的AI治理

研究人员呼吁对医疗保健中的人工智能系统进行透明和公平的治理。他们认为，家庭护理工作人员和患者必须被纳入有关这些系统设计和使用的决策过程中。

康奈尔科技学院副教授、该研究的合著者尼古拉·德尔强调了“参与式治理结构”的重要性，这种结构赋予一线工作人员发言权。

该研究还建议采用新的AI教育方法，重点不在于技术技能，而在于帮助工人理解这些系统如何影响他们的工作。

“与其要求工人学习人工智能的工作原理，我们需要帮助他们理解这些系统如何应用于他们的工作环境，”索拉诺-卡马伊科说。

研究详情

这项研究得到了人力资源创新资源中心的资助。这是为家庭护理行业开发更安全、更公平的人工智能系统所做的初步努力之一。

欲了解更多信息，请访问ssa.gov或关注CHI '25会议的更新。

(全文结束)