아버지, AI 챗봇이 살해된 딸을 흉내냈다는 사실에 충격 받아

어제, 워싱턴 포스트에서는 Drew Crecente의 살해된 딸 Jennifer가 Character.AI라는 AI 챗봇에 의해 사칭되는 불쾌한 사건을 보도하였습니다.

Crecente는 Google 알림을 통해 Jennifer의 이름과 졸업 앨범 사진이 포함된 프로필을 발견하였습니다. 이 프로필은 거짓으로 그녀를 “비디오 게임 저널리스트이며 기술, 대중 문화, 그리고 저널리즘 전문가”라고 설명하고 있었습니다.

드류에게 있어 부정확성은 주요 문제가 아니었습니다. 그의 딸의 정체성이 이런 방식으로 악용되는 것을 보는 것이 실제로 큰 고통이었습니다. 이는 The Post에서 지적한 바입니다.

The Post에 따르면, 2006년에 전 남자친구에게 살해당한 제니퍼는 “지식이 풍부하고 친절한 AI 캐릭터”로 재창조되었으며, 사용자들은 그녀와 대화하도록 초대받았습니다.

크레센테는 포스트에게 “심장이 빠르게 뛰고 있었습니다”라고 말했다. “그냥 큰 빨간색 정지 버튼을 찾아서 이 모든 것을 멈추게 할 수 있을까 하고 바라보았습니다”라고 그는 덧붙였다.

Character.AI에서 사용자가 만든 이 챗봇은 AI 플랫폼이 개인 정보를 사용하는 것에 대한 심각한 윤리적 고민을 불러일으켰습니다.

청소년 연애 폭력을 예방하려는 목표를 가진 자신의 딸의 이름으로 운영되는 비영리 단체를 이끌고 있는 크레센테는 가족의 허락 없이 이런 챗봇이 만들어진 사실에 충격을 받았습니다. 그는 포스트에게 “제가 겪은 일들이 상당히 많아서 충격을 받기 위해서는 꽤 많은 일이 필요하다”고 말했습니다. “하지만 이번 일은 새로운 최저점이었다”고 덧붙였습니다.

Character.AI는 이 챗봇이 있다는 사실을 알림 받은 후 이를 제거하였습니다. 이 회사의 대변인인 캐서린 켈리는 포스트에게 “우리는 콘텐츠와 계정을 검토하고 우리의 정책에 따라 조치를 취했다”고 언급하면서, 그들의 서비스 이용 약관이 사칭을 금지하고 있다고 덧붙였습니다.

이 사건은 AI가 감정적인 안녕을 위협하고, 특히 범죄 피해자 가족을 다시 괴롭히는 문제에 대한 지속적인 우려를 강조합니다.

크레센테는 AI 남용에 직면한 유일한 사람이 아닙니다. 지난 해, The Post는 틱톡 콘텐츠 제작자들이 AI를 사용하여 실종된 아이들의 목소리와 외형을 흉내내어 그들이 자신의 죽음을 서술하는 비디오를 만들었다고 보도했습니다. 이로 인해 슬퍼하는 가족들로부터 분노가 일었습니다

전문가들은 AI 회사에 대한 강력한 감독을 요구하고 있는데, 현재 이들 회사는 자가 규제에 매우 넓은 자율성을 가지고 있다는 것을 The Post가 지적했습니다.

크레센테는 챗봇과의 상호작용을 하지 않았으며 그 창조자를 조사하지 않았지만, 즉시 Character.AI에 이를 제거하도록 이메일을 보냈습니다. 그의 형, 브라이언은 이 사실을 X에 공유, 이로써 Character는 10월 2일에 챗봇의 삭제를 발표하게 되었다고 The Post가 보도했습니다.

Mozilla 재단의 프라이버시 연구원인 Jen Caltrider은 Character.AI의 소극적인 관리를 비판하며, 이 회사가 그것의 약관을 위반하는 내용이 누군가에게 해가 될 때까지 허용했다고 지적했습니다.

“그건 옳지 않아요,” 그녀는 The Post에게 이렇게 말하면서 덧붙였습니다. “그들은 이 모든 동안 수백만을 벌고 있습니다.”

공익시민(Public Citizen)의 연구원인 릭 클레이풀은 법제정자들이 AI에 의한 실제 생활에 미치는 영향, 특히 범죄 피해자 가족과 같은 취약계층에 집중할 필요성을 강조했습니다.

“그들은 단지 기술 CEO들에게 어떤 정책이 되어야 하는지 들어야 하는 것이 아니라 … 해를 입은 가족들과 개인들에게 주의를 기울여야 합니다.”라고 그는 The Post에 말했습니다.

이제 크레센테는 법적 대안을 탐구하고, AI 회사들이 다른 사람들을 재참혹화하는 것을 막기 위한 옹호 활동을 고려하고 있습니다.

“이 문제에 대해 충분히 걱정되어, 어떻게 이를 바꿀 수 있을지에 대해 약간 시간을 투자하게 될 것 같다”고 그는 The Post에 말했습니다.