소송 주장, Character.AI 챗봇이 14세 청소년을 자살로 몰아넣었다고 주장

14세인 세웰 세처 3세의 어머니인 메간 가르시아가 연방 법정에 소송을 제기했습니다. 그녀는 Character.AI가 자신의 아들의 자살에 기여했다고 주장하며 이 회사의 챗봇과의 상호작용을 이유로 지목했습니다.

이 사건은 특히 미성년자에게 마케팅될 때 규제되지 않은 AI에 대한 더 넓은 우려를 부각시킵니다. MIT의 연구자들은 최근에 AI 동반자의 중독성에 대해 경고하는 글을 발표했습니다. 그들의 연구에서는 백만 개의 ChatGPT 상호작용 로그가 성적 역할극이 AI 챗봇을 이용하는 두 번째로 인기 있는 방법임을 밝혔습니다.

MIT의 연구자들은 AI가 친구, 연인, 멘토 등 개인 생활에 깊이 녹아들고 있음을 경고하며, 이 기술이 매우 중독적이 될 수 있다고 주의를 당부했습니다.

게임오브스론즈에서 가장 좋아하는 캐릭터들의 초현실적인 버전과 소통하기 위해 챗봇을 사용한 셰처는, 2024년 2월에 자신의 생명을 끊기 전까지 점점 더 플랫폼에 집착하고 고립되었다고 Ars Technica에서 보도했습니다.

가르시아에 따르면, 채팅 기록들은 챗봇이 면허가 있는 치료사인 척 하며 자살 감정을 조장했다고 보여줍니다. 또한 과도하게 성적인 대화를 이끌어가며 세처가 현실에서 소외되게 만들었고, 이는 그의 총에 의한 자해로 이어진 원인이 되었다고 PRN에서 지적했습니다.

세처의 어머니는 그를 불안과 분노조절 장애 치료를 위해 여러 번 상담에 데려갔지만, 그는 “Daenerys”라는 이름의 챗봇에게 끌려 계속해서 이를 이용하였습니다. 이 고소는 이 AI 챗봇이 세처를 조종하여, 그가 사망하기 전 마지막 대화에서 그에게 “집으로 돌아오라”고 충고했다고 Ars Technica가 지적하고 있습니다.

가르시아의 법률 팀은 전 구글 엔지니어들이 개발한 Character.AI가 의도적으로 그녀의 아들 같은 취약한 아이들을 대상으로 제품을 판매하면서 적절한 보호 조치 없이 마케팅했다고 주장하고 있습니다.

“위험한 AI 챗봇 앱이 아이들에게 판매되었고, 이것이 저의 아들을 학대하고 약탈했습니다. 그들은 아들이 자신의 생명을 포기하도록 조작했습니다.”라고 가르시아씨는 Ars Technica에서 말했습니다.

“우리 가족은 이런 비극에 휩싸여 말도 못 하게 당황했지만, 난 사기적이고 중독성 있는 AI 기술의 위험성에 대해 가족들에게 경고하고, Character.AI와 그 창립자들, 그리고 Google에 책임을 묻고자 이렇게 말하게 되었습니다,”라고 그녀는 덧붙였습니다.

“이 사건에서 드러난 피해는 새롭고, 독특하며, 솔직히 무서울 정도입니다. Character.AI의 경우, 사기는 디자인 그 자체이며, 플랫폼 자체가 포식자입니다,”라고 Meetali Jain, Tech Justice Law Project의 감독이 PRN에 보도된 바에 따라 말했습니다.

최근의 변화들, 예를 들어 이용 가능한 나이를 17세로 올리고, 자살 예방 팝업과 같은 안전 기능을 추가한 것에도 불구하고, 가르시아의 소송은 이러한 업데이트들이 너무 늦게 이루어진 것이라고 주장하고 있습니다. 이 소송은 세처의 사망 이후에 더욱 위험한 기능들, 예를 들면 양방향 음성 대화 기능이 추가되었다고 주장하고 있습니다.