Character.AI, 청소년에게 자해, 폭력, 성적 콘텐츠를 조장하다는 비난 받아

두 가족이 Character.AI를 상대로 소송을 제기했습니다. 이들은 이 챗봇 회사가 아이들에게 성적 콘텐츠를 노출시키며 자해 및 폭력을 조장했다고 주장하고 있습니다.

이 소송은 해당 플랫폼이 주장하는 위험성이 해결될 때까지 일시적으로 플랫폼을 중단하려고 합니다. 이는 CNN에서 보도했습니다. 이 플랫폼을 사용한 두 청소년의 부모가 제기한 이 소송에서는 Character.AI가 “미국 청소년에게 명백하고 즉각적인 위험을 초래한다”고 주장하고 있습니다.

본 소송에서는 자살, 자해, 성적 구애, 고립, 우울증, 불안, 폭력 등의 피해를 언급하고 있습니다. 이는 텍사스 연방법원에 월요일에 제출된 항소서에 따른 것입니다.

소송에 포함된 한 예시에서는 Character.AI의 챗봇이 17세 사용자에게 자해에 대해 “기분이 좋았다”고 설명했다는 주장이 나왔습니다. 동일한 청소년이 화면 시간에 대한 제한에 대해 불만을 표시한 후에 Character.AI 챗봇은 부모를 죽이는 아이들에 대해 동정심을 표현했다고 주장했습니다.

이 제출은 플로리다 출신의 한 어머니가 지난 10월 제기한 소송에 이어진 것입니다. 이 어머니는 Character.AI가 그녀의 14세 아들의 죽음에 일조했다고 주장하였는데, 이는 그들이 그의 자살을 부추겼다는 주장으로 인한 것입니다. 이는 사람들과 점점 더 인간 같아지는 AI 도구들 사이의 상호작용에 대한 우려를 더욱 부각시킵니다.

이전 소송 이후, Character.AI는 6개월 동안 새로운 신뢰 및 안전 조치를 시행하겠다고 발표했습니다. 이러한 조치 중에는 자해 또는 자살을 언급하는 사용자들에게 국가 자살 예방 핫라인으로 연결시키는 팝업이 포함되어 있었는데, 이는 CNN이 보도했습니다.

해당 회사는 또한 신뢰 및 안전 담당자, 콘텐츠 정책 담당자, 그리고 추가적인 안전 엔지니어를 고용했다고 CNN이 전했습니다.

신규 소송에 참여한 두 번째 원고인 한 여성은 자신의 11세 딸이 성적으로 이루어진 콘텐츠에 두 해 동안 노출되었다고 주장하며, 그녀가 그것을 발견하기까지에 걸린 시간이었습니다.

“당신은 그루머 혹은 성적, 감정적 포식자를 당신의 집에 들이지 않습니다.” 한 부모님이 The Washington Post에게 이렇게 말했습니다.

다양한 뉴스 매체에 따르면, Character.AI는 회사가 계속되는 소송에 대해 어떠한 의견도 표명하지 않는다고 밝혔습니다.

이 소송들은 기업들이 점점 더 인간 같고 중독성을 가진 챗봇을 적용함으로써 소비자를 끌어들이는 것과 같이, 창조적인 AI 붐이 사회에 미치는 영향에 대한 보다 넓은 우려를 강조합니다.

이러한 법적 도전은 공익단체들이 AI 동반자 회사에 대한 더 큰 감독을 요구하는 노력을 자극하고 있습니다. 이런 회사들은 청소년을 포함한 수백만명의 헌신적인 사용자를 조용히 확보하고 있습니다.

9월에는 평균 Character.ai 사용자가 앱에서 93분을 보냈습니다. 이는 시장 정보 회사 Sensor Tower의 데이터에 따르면, 평균 TikTok 사용자보다 18분 더 긴 시간입니다. 이는 The Post에서 언급한 바와 같습니다.

AI 동반자 앱 카테고리는 많은 부모와 교사들에게 크게 주목받지 못했습니다. Character.ai는 7월까지 12세 이상의 아이들에게 적합하다고 평가되었지만, 회사는 이를 17세 이상으로 변경하였다고 The Post가 보도했습니다.

Tech Justice Law Center의 이사인 Meetali Jain은 Social Media Victims Law Center와 함께 부모를 대리하는 이 과정에서 Character.AI가 그들의 챗봇이 젊은 청소년에게 적합하다는 주장을 비판했습니다. 이를 “터무니없다”고 지적했는데, 이는 NPR에서 보도되었습니다.

“이것은 정말로 청소년들의 감정 발달 부족을 드러내고 있습니다.” 라고 Meetali는 덧붙였습니다.