ChatGPT의 정확한 인용에 대한 어려움, 출판사들에게 우려의 소지를 제기하다

ChatGPT가 라이선스된 콘텐츠에서도 자주 인용 오류를 범함으로써, 출판사의 신뢰를 손상시키고 생성형 AI 도구가 언론을 잘못 대표하는 위험성을 부각시킵니다.

최근 컬럼비아 저널리즘 스쿨의 Tow 디지털 저널리즘 센터에서 수행한 연구가 ChatGPT의 인용 관행에 대한 비판적인 조명을 던졌습니다. 이 연구는 OpenAI의 생성 AI 도구에 의존하는 출판사들이 직면하는 중요한 도전을 드러냈습니다.

이 연구결과는 출판사들이 ChatGPT의 불규칙하고 자주 부정확한 출처 표기로 인해 명성과 상업적 위험에 처할 수 있다는 것을 제시하고 있습니다. 이는 라이선스 계약이 체결되어 있을 때에도 마찬가지입니다.

이 연구에서는 200개의 기사에서 20개의 출판사, 그리고 이번 주에 Columbia Journalism Review (CJR)에서 보도한 바와 같이 OpenAI에 대한 소송 중인 출판사들을 포함하여 ChatGPT의 인용 표현에 대한 능력을 테스트하였습니다.

OpenAI가 정확한 인용을 제공한다는 주장에도 불구하고, 이 챗봇은 153회에 걸쳐 잘못되거나 부분적으로 잘못된 응답을 내놓았습니다. 정확한 출처를 찾지 못한다는 사실을 인정한 것은 단 7번뿐이었고, 대신 종종 허위 인용을 만들어내는 경향이 있었습니다.

예를 들어, ChatGPT는 Orlando Sentinel에서 나온 인용구를 잘못하여 Time에서 나왔다고 표기하였고, 또한 무단으로 복제된 New York Times의 내용을 참조로 사용하는 등의 행태를 보였습니다.

출판사들이 OpenAI의 크롤러에게 접근을 허용하더라도, 인용이 잘못 속성화되는 경우가 종종 있었습니다. 예를 들어, 원래의 기사보다는 통신 버전에 링크가 걸리는 경우가 그렇습니다.

MIT Tech Review의 편집장인 Mat Honan은 ChatGPT의 투명성에 대해 의문을 제기하였습니다. 그는 AI의 한계를 잘 모르는 사용자들이 그 응답에 혼란스러워할 수 있다고 지적했습니다.

“저의 관점에서 보면, 저는 챗봇들이 환영을 일으키고 허구의 내용을 만들어내는 경향에 매우 익숙합니다 […] 하지만 대부분의 사람들이 이 사실을 잘 모르는 것도 압니다. […] 이러한 챗봇에 표시되는 작은 경고문들이 충분하다고 생각하지 않습니다.” 그는 CJR에서 이렇게 말했습니다.

CJR는 OpenAI가 자신들의 노력을 방어하며, 퍼블리셔들이 콘텐츠 가시성을 관리하는 도구를 강조하고 인용의 정확성을 향상시키겠다고 약속했다고 보도했습니다.

그러나, 토우 센터는 크롤러를 활성화하거나 콘텐츠를 라이센스화하는 것이 정확한 표현을 보장하지 않음을 발견했습니다. 이는 참여하는 출판사와 비참여하는 출판사 모두에게 일관성 없는 결과를 가져왔습니다.

ChatGPT가 출판사 콘텐츠를 참조하는 데 있어 부정확함은 저널리즘에 대한 신뢰를 무너뜨리고 출판사의 평판을 손상시킬 수 있습니다. 원래의 출처를 파악하는 데 어려움을 겪을 수 있으며, 브랜드 인식을 희석시킬 수 있습니다.

출판사들이 OpenAI의 크롤러를 허용하거나 라이선스 계약을 체결하고 있다 해도, 이런 오류들로부터 면제되지는 않습니다. 이는 시스템적인 결함을 보여주는 사례입니다. ChatGPT가 자신의 지식의 한계를 인정하는 대신 오해를 불러일으킬 수 있는 자신감 넘치는 답변을 제공하는 경향은 사용자를 오도하고 투명성을 해치게 됩니다.

이런 식의 행동은 신뢰할 수 있는 뉴스 소스로부터 관객들을 멀어지게 하고, 표절을 장려하며, 고품질의 저널리즘의 가시성을 약화시킵니다. 이러한 결과들은 정보공유의 진실성과 디지털 미디어 플랫폼에 대한 신뢰를 위협하게 됩니다.