영국 복지 사기 탐지 AI의 편향성, 공정성에 대한 우려를 불러일으킴

영국 정부의 복지 사기 탐지를 위한 인공지능 시스템이 나이, 장애, 결혼 상태, 국적에 따른 편향성을 보였다는 내부 평가 결과가 나왔습니다. 이는 오늘 가디언에서 보도되었습니다.

가디언에 따르면, 영국 전역의 보편적인 신용 청구를 평가하는데 사용되는 시스템이 특정 그룹을 과도하게 조사 대상으로 지정하고 있어, 체계적인 차별에 대한 우려가 제기되고 있다고 합니다.

해당 편향성은 “통계적으로 유의미한 결과의 차이”로 설명되었으며, 이는 2월에 Department for Work and Pensions (DWP)에서 진행한 공정성 분석을 통해 밝혀졌습니다.

이 분석 결과, 머신러닝 프로그램은 잠재적인 사기를 조사해야하는 사람을 결정할 때 특정 인구집단을 다른 집단보다 더 자주 선택했다는 것을 발견했고, 이에 대한 보고는 The Guardian에서 확인할 수 있습니다.

이 공개는 DWP가 이전에 AI 시스템이 차별이나 불공정한 대우에 대한 즉각적인 위험을 초래하지 않는다고 주장한 것과 대조적입니다.

해당 부서는 이 시스템을 방어하며, 최종 결정은 인간 사무원이 내리며, 이 도구가 “합리적이고 적절하다”고 주장했습니다. 이는 수당 시스템에서의 사기와 오류로 인한 연간 예상 비용인 80억 파운드를 감안할 때입니다, 이는 가디언에서 보도했습니다.

그러나 이 분석에서는 인종, 성별, 종교, 성적 성향, 혹은 임신과 관련된 잠재적 편향에 대해 탐구하지 않았으며, 이로 인해 시스템의 공정성에 대한 이해에 상당한 허점이 남게 되었습니다.

공공법률 프로젝트를 포함한 비평가들은 정부가 “먼저 상처를 주고, 나중에 고치는” 접근법을 채택했다고 비난하며, 가디언이 보도한 바와 같이 소수 집단에 대한 표적화를 방지하기 위한 더 큰 투명성과 보호책을 요구하고 있습니다.

“대다수의 사례에서 DWP가 자동화된 프로세스가 소외된 그룹을 불공히 대상으로 삼을 위험성을 평가하지 않았다는 것이 명확하다.”라고 공공법 프로젝트의 수석 연구원인 캐롤라인 셀먼이 가디언에 보도된 바와 같이 말했습니다.

이러한 결과는 공공 서비스에서의 인공지능 사용에 대한 감사가 강화되는 가운데 나왔습니다. 독립적인 보고서에 따르면, 적어도 55가지의 자동화 도구가 영국 공공 기관 전반에 걸쳐 운영되고 있으며, 이로 인해 수백만명의 결정에 영향을 미칠 가능성이 있다고 가디언이 전했습니다.

그럼에도 불구하고, 정부의 공식 AI 등록부에는 단지 9개의 시스템만 등록되어 있어, 중대한 책임 감독에 대한 부재를 드러내고 있다고 가디언이 지적하고 있습니다.

더욱이, 영국 정부는 의무적 등록부에 AI 사용을 기록하지 않는다는 사실로 인해 비판을 받고 있으며, 이로 인해 AI 채택이 증가함에 따른 투명성 및 책임에 대한 우려가 커지고 있습니다.

DWP는 공정성 분석에서 중요한 세부 사항을 삭제했으며, 그 중에는 어떤 연령대나 국적이 과도하게 표시되었는지가 포함되어 있습니다. 관계자들은 이러한 특정 정보를 공개하는 것이 사기꾼들이 시스템을 조작할 수 있는 기회를 제공할 수 있다고 주장했으며, 이를 The Guardian이 보도했습니다.

DWP의 대변인은 The Guardian이 보도한 바와 같이, 인간의 판단이 여전히 결정 과정의 중심에 있다고 강조했습니다. 이러한 폭로는 AI를 배치하는 정부의 투명성에 대한 보다 넓은 우려를 더하며, 비평가들은 오용을 방지하기 위해 더 엄격한 감독과 강력한 보호 조치를 촉구하고 있습니다.