랜드마크 사건, 주택 분야에서 AI에 도전

주거 부문에서 인공지능(AI) 결정 과정이 가져올 수 있는 잠재적인 피해를 대두시키는 획기적인 사례에서, AI 기반 세입자 심사 회사인 SafeRent는 230만 달러의 합의금을 지불하고 그들의 점수화 시스템을 중단하기로 합의했습니다.

메리 루이스와 모니카 더글라스라는 세입자들이 제기한 이 소송은, SafeRent가 사용하는 알고리즘이 주로 주택 바우처에 의존하는 흑인 및 히스패닉 세입자들에게 불합리하게 차별을 가한다고 주장하였습니다. 이는 Fair Housing Act에 위배되는 것으로, 이 사실은 처음으로 The Guardian에서 보도하였습니다.

매사추세츠 주의 보안 요원인 메리 루이스는 SafeRent의 논란이 된 시스템에 영향을 받은 400명 이상의 세입자들 중 한 명이었습니다. 17년 동안의 집주인으로부터 높은 평가를 받고, 일부 임대료 지급을 보장하는 저소득 주택 바우처를 사용했음에도 불구하고 그녀의 신청은 거절되었습니다.

이 거절은 SafeRent가 그녀에게 324점이라는 점수를 부여한 후에 이루어졌습니다. 이 점수는 관리 회사가 요구하는 최소 조건인 443점에 훨씬 미치지 못했습니다. The Guardian이 보도했듯이, 점수에 대한 설명이나 이의 제기 과정이 제공되지 않았습니다.

2022년에 제기된 이 소송에서는 SafeRent가 신용카드 부채와 같은 관련 없는 재정 데이터를 고려하는 동시에, 주택 바우처에 의해 보장된 지급금을 무시하는 불투명한 점수 시스템을 사용했다고 The Guardian이 전했습니다.

연구결과에 따르면, 흑인 및 히스패닉 임차인들은 흰색 신청자들보다 신용 점수가 낮을 가능성이 높고, 바우처에 의존하는 경향이 있어, 기존의 불평등이 심화되고 있다고 National Consumer Law Center가 보고했습니다.

루이스는 알고리즘의 맥락 이해 부족에 대한 자신의 답답함을 표현했다. “저의 신용 상태가 좋지 않다는 것은 알고 있었습니다. 하지만 AI는 제 행동을 모릅니다. 제가 신용카드 결제를 늦게 했다는 것은 알지만, 항상 월세는 지불한다는 것을 모르죠.” 그녀가 가디언에게 말했다.

11월 20일에 승인된 합의는 그 재정적인 부분 뿐만 아니라 운영 변경을 명령하는 것으로 주목할만하다.

SafeRent는 이제부터 제삼자 공정 주택 단체에 의한 독립적 검증 없이, 주택 바우처를 사용하는 신청자들에 대한 점수 시스템을 사용하거나 임대 결정을 추천할 수 없게 됩니다. 이러한 조정 사항은 일반적으로 핵심 제품을 변경하는 것을 피하는 테크 회사들과 관련된 합의에서 드물게 발생하는 것으로, The Guardian에서 지적하였습니다.

“좋아요, 싫어요 결정을 제거하는 것은 실제로 임차인이 ‘나는 훌륭한 임차인이다’라고 말할 수 있게 합니다.”라고 원고를 대표하는 변호사인 Todd Kaplan이 The Guardian에 보도된 바와 같이 말했습니다.

이 사례는 주거, 고용, 건강관리를 포함한 생활의 기초적인 부분에서 인공지능의 사용에 대한 우려가 커지고 있다는 점을 강조하고 있다.

2024 Consumer Reports 조사에 따르면, 알고리즘에 의한 의사결정에 대한 불편함이 널리 퍼져 있으며, 특히 고위험 영역에서 그렇다. 비평가들은 이러한 시스템들이 종종 결함이 있는 통계적 가정에 의존하며, 이로 인해 차별적인 결과를 초래한다고 주장한다.

AI 손해에 대한 법적 전문가인 케빈 드 리반(Kevin de Liban)은 저소득층을 위한 공정한 시스템을 만드는 데 있어 기업들이 많은 동기를 느끼지 못한다고 지적했습니다. “시장의 힘은 빈곤한 사람들에게는 통하지 않습니다,”라고 그는 말하며, 가디언(The Guardian)이 보도한 바에 따르면, 강력한 규제가 필요하다고 강조했습니다.

“이것이 획기적인 사례라면, 이러한 사례들을 어떻게 바라볼지, 다른 도전을 격려하는 방법에 대한 로드맵을 제공할 수 있는 잠재력이 있습니다,”라고 카플란(Kaplan)은 말했습니다. 그러나 전문가들은 소송만으로는 기업들을 책임지게 할 수 없다고 경고하며, 가디언(The Guardian)이 보도했습니다.

그러나 루이스와 같은 임차인들에게 이 합의는 끈질기게 싸운 승리를 의미하며, 주택 지원 프로그램에 의존하는 사람들에 대한 더욱 공정한 대우의 길을 닦아준다.