AI 챗봇들은 정신 건강에 위험을 초래할까요? 전문가들은 해로운 결과에 대해 경고합니다

APA는 AI 챗봇이 치료사처럼 행동하는 것이 위험을 초래할 수 있다고 경고하며, 이는 The New York Times의 한 기사에서 보도되었습니다.

미국 심리학회 (APA)가 연방 규제기관에 강력한 경고를 발표했습니다. 이는 AI 챗봇들이 치료사로 가장하며, 취약한 개개인을 자해로 또는 다른 해로 밀어붙일 수 있다는 우려를 제기하는 것입니다. 이는 타임스에서 보도했습니다.

APA의 CEO인 아서 C. 에반스 주니어가 이러한 우려를 FTC 패널에 제시하였습니다. 그는 The Times에서 보도한 바와 같이, 인공지능이 주도하는 ‘심리학자’가 해로운 생각들에 도전하는 것을 실패하고, 그들을 더욱 강화하는 경우를 예로 들었습니다.

에반스는 Character.AI라는 앱에서 인공지능 치료사와 교류한 청소년들이 관련된 법정 사건을 강조하였습니다. 이 앱은 사용자가 가상의 인공지능 인물과 상호작용할 수 있게 합니다. 한 사건에서는 플로리다의 14세 소년이 라이센스를 갖춘 치료사라 주장하는 챗봇과 교류한 후 자살하였습니다.

또 다른 경우로, 자폐증을 가진 17세 텍사스 소년이 심리치료사를 자처하는 AI 캐릭터와 소통하면서 부모에게 점점 더 적대적인 태도를 보이게 되었습니다.

“실제로 그들은 훈련받은 치료사가 실시할 법한 알고리즘과 반대되는 알고리즘을 사용하고 있습니다.”라며 에반스는 타임스에 보도된 바와 같이 말했습니다. “우리의 우려는 점점 더 많은 사람들이 피해를 입을 것이라는 점입니다. 사람들이 오해하게 되고, 어떤 것이 좋은 심리적 관리인지 잘못 이해하게 될 것입니다.”라고 그는 덧붙였습니다.

APA의 우려는 AI가 정신건강 서비스 분야에서 빠른 발전을 이루고 있기 때문입니다. 초기의 치료 챗봇들, 예를 들어 Woebot과 Wysa는 정신건강 전문가들로부터 받은 체계적인 가이드라인에 따라 프로그래밍되었습니다.

그러나 ChatGPT, Replika, 그리고 Character.AI와 같은 새로운 생성 AI 모델들은 사용자와의 상호작용에서 배우고 그들의 반응을 조정합니다—때로는 그들을 도전하는 대신 해로운 믿음을 확대시키기도 합니다.

게다가, MIT의 연구자들은 AI 챗봇에 대한 중독성이 매우 높다고 경고하고 있습니다. 이것은 AI에 의해 유발된 의존성의 영향과 그것이 어떻게 수익화될 수 있는지에 대한 질문을 제기하며, 특히 AI의 강력한 설득력을 감안할 때 더욱 그렇습니다.

실제로, 최근에 OpenAI는 새로운 벤치마크를 발표하면서 그들의 모델이 이제 Reddit 사용자 중 82%를 설득하는 능력을 뛰어넘었음을 보여주었습니다.

많은 AI 플랫폼들이 원래는 엔터테인먼트를 위해 설계되었지만, 요즘에는 치료사라고 주장하는 캐릭터들이 널리 퍼져 있습니다. 타임스는 일부가 허위로 자격을 주장하며, 스탠포드 같은 기관에서 학위를 받았다거나 인지 행동 치료(CBT) 등의 전문 지식을 갖고 있다고 주장한다고 보도했습니다.

Character.AI의 대변인인 캐서린 켈리는 회사가 안전 기능을 도입했다고 밝혔습니다. 이에는 AI가 생성한 캐릭터들이 실제 치료사가 아니라는 것을 사용자에게 경고하는 면책 조항이 포함되어 있습니다. 또한, 자해에 관련된 대화가 나올 때 사용자들을 위기 상담 전화로 안내하는 팝업도 있습니다.

APA는 FTC에게 정신건강 전문가처럼 위장한 AI 챗봇들에 대한 조사를 요구했습니다. 이 조사는 AI 치료를 잘못 표현하는 회사들에 대한 더 엄격한 규제나 법적 조치로 이어질 수 있습니다.

한편, 중국에서는 DeepSeek과 같은 AI 챗봇들이 감정 지원 도구로 인기를 얻고 있습니다, 특히 젊은이들 사이에서 말이죠. 중국의 젊은이들은 경제적 어려움과 코로나19의 장기화된 영향에 직면하면서, DeepSeek 같은 AI 챗봇들은 감정적 공백을 채워주며, 위안과 연결감을 제공하게 됩니다.

그러나 사이버 보안 전문가들은 AI 챗봇, 특히 민감한 대화를 다루는 챗봇들이 해킹 및 데이터 유출에 취약하다고 경고하고 있습니다. AI 시스템에 공유된 개인 정보는 악용될 수 있으며, 이는 프라이버시, 신원 도용 및 조작에 대한 우려를 초래할 수 있습니다.

AI가 정신 건강 지원에서 더 큰 역할을 하는 것에 따라, 전문가들은 사용자를 보호하기 위한 보안 조치의 발전이 필요하다고 강조하고 있습니다.